Chapter 1: The Reinforcement Learning Problem

Reinforcement learning = luonnollista oppimista (ympäristöstä) tietokoneille

MDP (Markov Decision Process) kaavan 3 tekijää: tunnetila, tekeminen ja päämäärä.

Palkinnon maksimointi on eri asia kuin piilotetun rakenteen löytäminen. Näin koneoppiminen jakautuu kolmeen osa-alueeseen, ohjattu, ei-ohjattu ja vahvistettu.

Exploit & Explore, opitun hyödyntäminen ja uuden kokeilu, sopivan balanssin löytäminen on vaikeaa.

Yleensä koneoppiminen on down-up (pienestä kuviosta isompaan), RL on up-down eli aloitetaan koko kuvasta ja opitaan pienet kuviot matkan varrella.

Agentin ja ympäristön lisäksi 4 aihealuetta voi erotella: 

1. Ohjekirja, policy: määrää sopivan actionin sopivaan tilaan.

2. Palkintosignaali: palkintosignaalin generoija on RIIPPUMATON agentin tilasta, siis se on täysin ulkopuolinen tekijä. Näin agentti ei voi muuttaa ongelmaa toiseksi maksimoidakseen palkinnon.

3. Arvofunktio: mikä on hyväksi pitkällä aikavälillä. Arvio palkinnosta tulevaisuudessa tila-jonon funktiona. Esim. tilan palkinto voi olla huono, mutta siitä seuraavien tilojen palkinto on iso joten arvofunktio on hyvä. Esim. salitreenaus tuntuu perseeltä, mutta lopputulos hyvä. Arvofunktion arvioiminen on ehkä haastavin ja tärkein osa hyvän RL algoritmin käytössä.

4. Ympäristön malli. Miten ympäristö käyttäytyy ja millaisessa tilassa se on. Käytetään suunnitteluun ja arvofunktion arvioimiseen.  Kaikki RL mallit eivät käytä ympäristöä apuna, jolloin ne perustuvat pelkkään trial-and-error harjoitteluun.

Arvofunktioiden käyttö ei ole välttämätöntä. Geneettiset algoritmit yms. eivät käytä. Ne keskittyvät agentin koko elinikään ja perustavat tekonsa siihen. Nämä tosin vaativat pienen tila-avaruuden, sillä muuten ne olisivat liian vaikeita opettaa (vielä...). Tämän kirjan puitteissa RL metodit eivät sisällä evoluutio menetelmiä. Joitain tila-gradientti-metodeihin perustuvia malleja kirjassa tosin on ja ne eivät perustu arvofunktioihin.

 

Tic tac toe esimerkki, exploratory oppiminen on tärkeää.