Curricula

Objectives

Opintojakson tarkoitus
Kurssilla opit hyödyntääm kehittyneitä uusia tekniikoita, kuten tekoälyä IoT-järjestelmien toteutuksessa. Tutustut erilaisiin neuroverkkoihin ja ymmärrät niiden perusparametrit.

Opintojakson osaamiset
EUR-ACE Tieto ja ymmärrys
EUR-ACE Tekniikan soveltaminen käytäntöön

Osaamistavoitteet:
Tunnet neuroverkkojen arkkitehtuurit ja ymmärrät niiden sovellusalueet. Osaat tehdä Q-table perustaisen neuroverkon suunnittelun ja toteutuksen käytännössä. Tiedät mitä RL-agentti tekee ja osaat treenat agentin toiminnan optimaalliseksi. Ymmärrät eron On-Policy ja Off-Policy algoritmien välillä ja osaat käyttää tietoa algoritmin valinnassa.

Content

Neuroverkkojen vertailu (RL,Supervised, Unsupervised )
Keras, Pytorch ja muut algoritmipohjaiset neuroverkot
RL-agent ja ympäristö
Exploitation and exploration
Palkkio (Reward) ja hyperparameters
Basic neuro math and activation functions
Policy gradient method and value based learning
Bellman equation and its demo (Q-learning)
Pytorch, PPO algorithm and demo

Time and location

Lukujärjestyksen mukaisesti tilassa 431

Learning materials and recommended literature

Verkko-oppimisympäristössä julkaistava sähköinen materiaali.

Teaching methods

- luennot
- itseopiskelu
- verkko-opinnot
- webinaarit
- pienryhmätyöskentely
- harjoitustyöt
- oppimistehtävät
- seminaarit

Practical training and working life connections

- ekskursiot
- vierailijaluennot
- projektit

Exam dates and retake possibilities

Mahdollinen tentin ajankohta ja toteutustapa ilmoitetaan opintojakson ensimmäisellä kerralla.

Alternative completion methods

Hyväksilukemisen menettelytavat kuvataan tutkintosäännössä ja opinto-oppaassa. Opintojakson opettaja antaa lisätietoa mahdollisista opintojakson erityiskäytänteistä.

Student workload

Yksi opintopiste (1 op) tarkoittaa keskimäärin 27 tunnin työtä.

- luennot 52 h
- harjoitustyöt 15 h
- tehtävät 35 h
- itsenäinen työskentely 30 h
- yritysvierailut 3 h
Yhteensä 135 h

Further information for students

Arviointi projektin mukaisesti

Referenssiprojektissa robottiautoa koulutetaan ajaan rataa tasaisemmin (pieni huojunta). Reinforcement neuroverkko optimoi auton ajoa palkitsemisjärjestelmän mukaisesti (reward, agent, policy). AI sijaitsee ensin serverillä ja lopuksi verkon reunalla. Tutkitaan paraneeko ajo reunalaskennan seurauksena

Evaluation scale

0-5

Evaluation criteria, satisfactory (1-2)

Välttävä 1: Ymmärrät neuroverkkojen periaattet ja osaat soveltaa tietoa niiden valitsemiseksi

Tyydyttävävä 2: Ymmärrät Q-learning menetelmien perusteet ja osaat tehdä sillä pienen sovelluksen

Evaluation criteria, good (3-4)

Hyvä 3: Osaat säätää Bellmanin algoritmin parametreja (Exploration, Explotation, gamma +....) siten, että ohjattavan objektin toiminta optimoituu

Erinomainen 4: Osaat virittää monikerroksisen neuroverkon käyttäen PPO algoritmiä siten, että anettu toimilaite käyttäytyy halutusti.

Evaluation criteria, excellent (5)

Erinomainen 5: Edellisten lisäksi ymmärrät tekoälyn rajoitukset erilaisissa käytännön sovelluksissa ja käsität , että OpenAI-Gym mallit vaativat vahvaa substanssin hallintaa. Osaat myös dokumentoida työsi hyvin käyttäen TensorFlow-tulosteita hyperparametrien arvioimiseen.

Prerequisites

Johdanto IoT-järjestelmiin