AAIP – Hoofdstuk 16
Neurale Netwerken – Fundamenten
16.1 Waarom neurale netwerken?
Neurale netwerken vormen de ruggengraat van moderne AI:
van beeldherkenning tot taalmodellen, van aanbevelingssystemen tot spraak.
Deep learning, LLM’s, vision‑modellen – alles begint bij het simpele neurale netwerk.
In dit hoofdstuk leer je:
- wat een kunstmatig neuron is,
- hoe lagen een netwerk vormen,
- wat activatiefuncties doen,
- hoe forward & backward propagation werken,
- wat loss‑functies en optimizers zijn,
- hoe neurale netwerken leren via gradient descent.
16.2 Het kunstmatige neuron
Een kunstmatig neuron is geïnspireerd op biologische neuronen,
maar is wiskundig extreem eenvoudig.
16.2.1 Invoer, gewichten en bias
Elk neuron ontvangt een vector van inputs x = (x₁, x₂, …, xₙ)
en heeft bijbehorende gewichten w = (w₁, w₂, …, wₙ) plus een bias b.
z = w₁x₁ + w₂x₂ + … + wₙxₙ + b
a = σ(z)
Waar:
- z = lineaire combinatie,
- a = activatie (output van het neuron),
- σ = activatiefunctie.
16.3 Lagen & architectuur
Neuronen worden georganiseerd in lagen:
- Inputlaag – ontvangt ruwe data,
- Verborgen lagen – leren representaties,
- Outputlaag – produceert voorspelling.
16.3.1 Feedforward netwerken
In een feedforward netwerk stroomt informatie één kant op:
van input → verborgen lagen → output.
16.3.2 Diepte & breedte
Diepte = aantal lagen,
breedte = aantal neuronen per laag.
Meer lagen = meer representatiekracht, maar ook meer risico op overfitting.
16.4 Activatiefuncties
Zonder activatiefuncties zou een netwerk slechts één grote lineaire functie zijn.
Activaties brengen non‑lineariteit in het model.
16.4.1 Sigmoid
Output tussen 0 en 1 – vaak gebruikt in de outputlaag voor binaire classificatie.
16.4.2 Tanh
Output tussen −1 en 1 – symmetrischer dan sigmoid.
16.4.3 ReLU (Rectified Linear Unit)
De standaard in moderne deep learning:
ReLU(x) = max(0, x)
16.4.4 Varianten (Leaky ReLU, GELU, etc.)
Oplossen o.a. het “dode neuronen” probleem en verbeteren stabiliteit.
16.5 Forward propagation
Forward propagation is het proces waarbij een input door het netwerk stroomt
en een voorspelling wordt berekend.
Stappen
- Neem input x.
- Bereken z = Wx + b voor de eerste laag.
- Pas activatiefunctie toe: a = σ(z).
- Gebruik a als input voor de volgende laag.
- Herhaal tot de outputlaag.
Forward pass = voorspellen.
Backward pass = leren.
16.6 Loss‑functies
De loss‑functie meet hoe slecht het model presteert.
Het is het kompas dat de richting van leren bepaalt.
16.6.1 Regressie
- Mean Squared Error (MSE)
- Mean Absolute Error (MAE)
16.6.2 Classificatie
- Binary Cross‑Entropy (binaire classificatie)
- Categorical Cross‑Entropy (multi‑class)
16.7 Backpropagation & Gradient Descent
Backpropagation is het algoritme waarmee neurale netwerken leren.
Het berekent hoe elke gewichtswijziging de loss beïnvloedt.
16.7.1 Intuïtie
Het netwerk maakt een fout → de fout wordt teruggevoerd door de lagen →
gewichten worden aangepast om de fout te verkleinen.
16.7.2 Gradient Descent
De gewichten worden aangepast in de richting van de negatieve gradiënt:
w ← w − η · ∂L/∂w
(η = learning rate)
16.7.3 Varianten
- Stochastic Gradient Descent (SGD)
- Mini‑batch Gradient Descent
- Momentum
- Adam, RMSProp, Adagrad
16.8 Overfitting in neurale netwerken
Door hun grote capaciteit kunnen neurale netwerken extreem snel overfitten.
Oorzaken
- te veel parameters,
- te weinig data,
- te lang trainen,
- ruis in de data.
Oplossingen
- Dropout,
- L2‑regularisatie,
- Early stopping,
- Data‑augmentatie,
- Meer data verzamelen.
16.9 Toepassingen van neurale netwerken
- beeldherkenning (objectdetectie, classificatie),
- spraakherkenning,
- machinevertaling,
- aanbevelingssystemen,
- tijdreeksvoorspelling,
- LLM’s en generatieve AI,
- medische beeldanalyse.
Alles wat vandaag “AI” genoemd wordt, draait in de kern op neurale netwerken.
16.10 Reflectie‑opdracht
Beantwoord de volgende vragen schriftelijk:
- Leg in je eigen woorden uit wat een kunstmatig neuron doet.
- Waarom zijn activatiefuncties noodzakelijk?
- Wat is het verschil tussen forward en backward propagation?
- Noem een toepassing van neurale netwerken die jij persoonlijk fascinerend vindt.