Future IoT TechnologiesLaajuus (5 op)

Osaamistavoitteet

Opintojakson tarkoitus
Kurssilla opit hyödyntääm kehittyneitä uusia tekniikoita, kuten tekoälyä IoT-järjestelmien toteutuksessa. Tutustut erilaisiin neuroverkkoihin ja ymmärrät niiden perusparametrit.

Opintojakson osaamiset
EUR-ACE Tieto ja ymmärrys
EUR-ACE Tekniikan soveltaminen käytäntöön

Osaamistavoitteet:
Tunnet neuroverkkojen arkkitehtuurit ja ymmärrät niiden sovellusalueet. Osaat tehdä Q-table perustaisen neuroverkon suunnittelun ja toteutuksen käytännössä. Tiedät mitä RL-agentti tekee ja osaat treenat agentin toiminnan optimaalliseksi. Ymmärrät eron On-Policy ja Off-Policy algoritmien välillä ja osaat käyttää tietoa algoritmin valinnassa.

Sisältö

Neuroverkkojen vertailu (RL,Supervised, Unsupervised )
Keras, Pytorch ja muut algoritmipohjaiset neuroverkot
RL-agent ja ympäristö
Exploitation and exploration
Palkkio (Reward) ja hyperparameters
Basic neuro math and activation functions
Policy gradient method and value based learning
Bellman equation and its demo (Q-learning)
Pytorch, PPO algorithm and demo

Esitietovaatimukset

Johdanto IoT-järjestelmiin

Arviointikriteerit, tyydyttävä (1)

Välttävä 1: Ymmärrät neuroverkkojen periaattet ja osaat soveltaa tietoa niiden valitsemiseksi

Tyydyttävävä 2: Ymmärrät Q-learning menetelmien perusteet ja osaat tehdä sillä pienen sovelluksen

Arviointikriteerit, hyvä (3)

Hyvä 3: Osaat säätää Bellmanin algoritmin parametreja (Exploration, Explotation, gamma +....) siten, että ohjattavan objektin toiminta optimoituu

Erinomainen 4: Osaat virittää monikerroksisen neuroverkon käyttäen PPO algoritmiä siten, että anettu toimilaite käyttäytyy halutusti.

Arviointikriteerit, kiitettävä (5)

Erinomainen 5: Edellisten lisäksi ymmärrät tekoälyn rajoitukset erilaisissa käytännön sovelluksissa ja käsität , että OpenAI-Gym mallit vaativat vahvaa substanssin hallintaa. Osaat myös dokumentoida työsi hyvin käyttäen TensorFlow-tulosteita hyperparametrien arvioimiseen.