Future IoT Technologies (5 op)

Arviointiasteikko

0-5

Tavoitteet

Opintojakson tarkoitus
Kurssilla opit hyödyntääm kehittyneitä uusia tekniikoita, kuten tekoälyä IoT-järjestelmien toteutuksessa. Tutustut erilaisiin neuroverkkoihin ja ymmärrät niiden perusparametrit.

Opintojakson osaamiset
EUR-ACE Tieto ja ymmärrys
EUR-ACE Tekniikan soveltaminen käytäntöön

Osaamistavoitteet:
Tunnet neuroverkkojen arkkitehtuurit ja ymmärrät niiden sovellusalueet. Osaat tehdä Q-table perustaisen neuroverkon suunnittelun ja toteutuksen käytännössä. Tiedät mitä RL-agentti tekee ja osaat treenat agentin toiminnan optimaalliseksi. Ymmärrät eron On-Policy ja Off-Policy algoritmien välillä ja osaat käyttää tietoa algoritmin valinnassa.

Sisältö

Neuroverkkojen vertailu (RL,Supervised, Unsupervised )
Keras, Pytorch ja muut algoritmipohjaiset neuroverkot
RL-agent ja ympäristö
Exploitation and exploration
Palkkio (Reward) ja hyperparameters
Basic neuro math and activation functions
Policy gradient method and value based learning
Bellman equation and its demo (Q-learning)
Pytorch, PPO algorithm and demo

Aika ja paikka

Lukujärjestyksen mukaisesti tilassa 431

Oppimateriaalit

Verkko-oppimisympäristössä julkaistava sähköinen materiaali.

Opetusmenetelmät

- luennot
- itseopiskelu
- verkko-opinnot
- webinaarit
- pienryhmätyöskentely
- harjoitustyöt
- oppimistehtävät
- seminaarit

Harjoittelu- ja työelämäyhteistyö

- ekskursiot
- vierailijaluennot
- projektit

Toteutuksen valinnaiset suoritustavat

Hyväksilukemisen menettelytavat kuvataan tutkintosäännössä ja opinto-oppaassa. Opintojakson opettaja antaa lisätietoa mahdollisista opintojakson erityiskäytänteistä

Opiskelijan ajankäyttö ja kuormitus

Yksi opintopiste (1 op) tarkoittaa keskimäärin 27 tunnin työtä.

- luennot 52 h
- harjoitustyöt 15 h
- tehtävät 35 h
- itsenäinen työskentely 30 h
- yritysvierailut 3 h
Yhteensä 135 h

Arviointikriteerit, tyydyttävä (1)

Välttävä 1: Ymmärrät neuroverkkojen periaattet ja osaat soveltaa tietoa niiden valitsemiseksi

Tyydyttävävä 2: Ymmärrät Q-learning menetelmien perusteet ja osaat tehdä sillä pienen sovelluksen

Arviointikriteerit, hyvä (3)

Hyvä 3: Osaat säätää Bellmanin algoritmin parametreja (Exploration, Explotation, gamma +....) siten, että ohjattavan objektin toiminta optimoituu

Erinomainen 4: Osaat virittää monikerroksisen neuroverkon käyttäen PPO algoritmiä siten, että anettu toimilaite käyttäytyy halutusti.

Arviointikriteerit, kiitettävä (5)

Erinomainen 5: Edellisten lisäksi ymmärrät tekoälyn rajoitukset erilaisissa käytännön sovelluksissa ja käsität , että OpenAI-Gym mallit vaativat vahvaa substanssin hallintaa. Osaat myös dokumentoida työsi hyvin käyttäen TensorFlow-tulosteita hyperparametrien arvioimiseen.

Esitietovaatimukset

Johdanto IoT-järjestelmiin

Lisätiedot

Referenssiprojektissa robottiautoa koulutetaan ajaan rataa tasaisemmin (pieni huojunta). Reinforcement neuroverkko optimoi auton ajoa palkitsemisjärjestelmän mukaisesti (reward, agent, policy). AI sijaitsee ensin serverillä ja lopuksi verkon reunalla. Tutkitaan paraneeko ajo reunalaskennan seurauksena