This repo is highly inspired by Simon's technical blog .

In Q-Learning :

• alpha = 0 implies that it never learn
• alpha = 1 implies that it replace it vales each times (too easy)
• gamma = 0 implies that the agent will try to optimize its learning for the long-term
• gamma = 1 implies that the agent will optimize for short-term (greedy learning)

Le programme choisit un chiffre (ou deux cartes) au hasard entre 2 et 21 (état 2 à 21). Il a deux choix : Garder ses cartes (choix 0) ou en Prendre une nouvelle (choix 1). Le croupier possède aussi ses deux cartes de départ, mais n'en tire jamais de nouvelles.

Enfin, si le joueur gagne il gagne 10€. Sinon, il perd 10€.

Exemple :

• Le programme a une somme de cartes égale 15 (état 15)
• Le programme choisi le tirer une carte (choix 1)
• Le programme tire la carte 3 (nouvel état 18)
• Le croupier est battu (peu importe son score)
• Le programme gagne +10€

La Q valeur de l'état 15 avec le choix 1 va augmenter.

Attention, l'état 18 ne va pas du tout être actualisé !

Experiment Env (EE)
Experiment Task (ET)
Q Learner (QL)
Q Agent (QA)

Observations :

QL --getObservation--> ET --getSensors--> EE
QL --integrateObservation--> QA

Action :

QL --getAction--> QA
QL --performAction--> ET --performAction--> EE

Reward :

QL --getReward()--> ET (--reset--> EE)
QL --giveReward --> QA

sudo pip install --upgrade pybrain

# Apply fix https://github.com/pybrain/pybrain/issues/211
# Files are present in pybrain_fix/

NB_ITERATION = 300

Alpha is low because we can loose with a good hand often, and win with a bad hand often too

Q_ALPHA = 0.2

Gamma is low because we have to spend a lot of money (and time) in this try. But, we shouldn't put gamma too low.

Q_GAMMA = 0.2