AAIP – Hoofdstuk 23
Reinforcement Learning (RL)
23.1 Wat is Reinforcement Learning?
Reinforcement Learning (RL) is een AI‑techniek waarbij een agent leert door interactie met een omgeving.
De agent ontvangt beloningen of straffen en leert zo een optimale strategie.
RL is leren door te doen — net zoals mensen en dieren.
In dit hoofdstuk leer je:
- wat agents, states, actions en rewards zijn,
- hoe Markov Decision Processes werken,
- wat value‑based en policy‑based RL is,
- hoe Q‑learning werkt,
- wat Deep Q‑Networks (DQN’s) zijn,
- hoe moderne RL‑systemen worden gebouwd.
23.2 De basiscomponenten van RL
RL bestaat uit vier kernconcepten:
23.2.1 Agent
De beslisser — het AI‑systeem dat leert.
23.2.2 Environment
De wereld waarin de agent handelt.
23.2.3 State (s)
De huidige situatie van de omgeving.
23.2.4 Action (a)
Een keuze die de agent maakt.
23.2.5 Reward (r)
Feedback die aangeeft hoe goed de actie was.
23.3 Markov Decision Processes (MDP’s)
Een MDP beschrijft RL‑problemen wiskundig.
Belangrijke elementen
- states (S)
- actions (A)
- transition probabilities (T)
- rewards (R)
- discount factor (γ)
De Markov‑eigenschap:
De toekomst hangt alleen af van de huidige state, niet van het verleden.
23.4 Value‑Based RL
Value‑based methoden leren hoe goed een state of actie is.
23.4.1 State Value Function V(s)
Hoe goed is het om in state s te zijn?
23.4.2 Action Value Function Q(s, a)
Hoe goed is het om actie a te nemen in state s?
23.5 Q‑Learning
Q‑learning leert een tabel met Q‑waarden die aangeven welke actie het beste is.
Q(s, a) ← Q(s, a) + α [ r + γ max Q(s’, a’) − Q(s, a) ]
23.5.1 Exploration vs Exploitation
De agent moet balanceren tussen:
- exploration — nieuwe acties proberen,
- exploitation — bekende goede acties gebruiken.
23.6 Deep Q‑Networks (DQN’s)
DQN’s gebruiken neurale netwerken om Q‑waarden te schatten.
Dit maakte RL toepasbaar op complexe problemen zoals Atari‑games.
23.6.1 Experience Replay
De agent slaat ervaringen op en traint op willekeurige batches.
23.6.2 Target Networks
Een tweede netwerk stabiliseert training.
23.7 Policy‑Based RL
In plaats van Q‑waarden te leren, leert de agent direct een beleid (policy).
23.7.1 Policy Gradient
De agent optimaliseert de kans op goede acties.
23.7.2 Actor‑Critic
Combineert value‑based en policy‑based RL.
23.8 Moderne RL‑technieken
- PPO (Proximal Policy Optimization)
- A3C / A2C
- SAC (Soft Actor‑Critic)
- AlphaZero‑stijl Monte Carlo Tree Search
PPO is de huidige industriestandaard voor stabiele RL‑training.
23.9 Toepassingen van RL
- robotica,
- zelfrijdende auto’s,
- game‑AI (AlphaGo, AlphaStar),
- energie‑optimalisatie,
- financiële trading,
- logistiek & planning,
- reclame‑optimalisatie.
23.10 Reflectie‑opdracht
Beantwoord de volgende vragen schriftelijk:
- Wat is het verschil tussen value‑based en policy‑based RL?
- Waarom is exploration belangrijk?
- Noem een toepassing van RL die jij indrukwekkend vindt.
- Wat is de rol van beloningen in RL?