CartPole Swing-Up

×

Wie funktioniert diese KI?

1. Das Problem (Swing-Up)

Das Pendel hängt anfangs nach unten (θ = π). Der Wagen muss es durch Schwung nach oben schleudern und balancieren.

2. Das Neuronale Netz (5–5–1)

Ein Feed-Forward-Netz mit 36 Parametern:

• 5 Inputs: x, v, sin(θ), cos(θ), ω — bei aktivem Sensorrauschen mit Gauß-Störung überlagert
• 5 Hidden-Neuronen: tanh-Aktivierung
• 1 Output: Binär: >0 → rechts. Kontinuierlich: tanh-Wert × max. Kraft

3. Neuroevolution

1. Population: 150 zufällige Gehirne
2. Fitness: Pendelhöhe + Bonus − Positionsstrafe (600 Schritte)
3. Selektion: Top 10 überleben (Elitismus)
4. Mutation: 140 Kinder aus Top 30, adaptive Mutationsstärke

4. Realismus-Parameter

• Motor-Totzeit: Verzögerung zwischen KI-Befehl und tatsächlicher Kraft (Ringpuffer). Ein Motor braucht Zeit, um den Strom umzukehren.
• Schienenreibung: Bremskraft proportional zur Wagengeschwindigkeit (viskose Reibung).
• Gelenkreibung: Bremskraft am Drehgelenk, proportional zur Winkelgeschwindigkeit.
• Sensorrauschen: Gauß-verteilte Störung auf allen Sensorwerten. Echte Encoder und Gyroskope sind nie perfekt.
• Kraftmodus: Binär (±F) vs. kontinuierlich (tanh × F) — echte Motoren können beliebige Kräfte aufbringen.
• Pendelstart-Zufall: Zufälliger Versatz des Startwinkels — robusteres Training.

5. Domain Randomization

Wenn aktiviert, variiert das Training zufällig die Physik-Parameter bei jeder Evaluation. Dadurch lernt die KI Strategien, die auch bei unbekannten Bedingungen funktionieren — die Brücke von Simulation zu Realität (Sim-to-Real Transfer).

6. Der Sim-to-Real Gap

Eine KI, die unter idealen Bedingungen trainiert wurde, versagt typischerweise an echten Aufbauten. Je höher der Realismus-Regler steht, desto näher ist die Simulation an der Wirklichkeit — und desto schwerer wird das Problem für die Evolution. Trainiere zuerst ideal, dann erhöhe schrittweise den Realismus!