Kaavat

Tälle joku helpompi ratkasu..

policy(pii) määrittää todennäköisyyden aktionille a tilassa s.

Update rule (2.4) ja incremental update rule (2.5), yksinkertaiset päivitykset arvoille uuden tuloksen mukaan, ts. yksinkertaisin versio oppimisesta.

Upper-Confidence-Bound action selection (2.8) toiminnon valinta joka tutkii parasta sellaista vaihtoehtoa, joiden potentiaali olla optimi on korkea.

3.1 Goal = Reward(t+1) + Reward(t+2)..

3.2 Goal = Reward(t+1) + γ*Reward(t+2) + γ²*Reward(t+3)..., 0<γ<1

3.3 Goal = Reward(t+1) + γ*Goal(t+1)

3.8 ja siitä johdetut eteenpäin, rajattu markov ketjun yleiset versiot.

3.12 tila-arvo funktio säännölle pii. 

3.13 tapahtuma-arvo funktio säännölle pii.

3.14 Bellmanin Kaava kaavalle 3.12.