Reinforcement Learning für die Fortbewegung

Wie sich ein Lauf-Controller in der Simulation durch Versuch und Irrtum lernen lässt: Markov-Entscheidungsprozesse, Returns und Value Functions, das Policy-Gradient-Theorem, GAE, PPO sowie die genaue Observation, Action und Reward für Strido, dazu, wie Domain Randomization die Sim-to-Real-Lücke verkleinert.

In Strido

Die Umgebung ist StridoEnv in packages/strido-sim/src/strido_sim/rl/env.py (Gymnasium + MuJoCo); das Training ist rl/train.py (stable-baselines3 PPO auf der CPU). Gemeinsame Konstanten (CONTROL_DT, ACTION_SCALE, COMMAND_RANGES) liegen in packages/strido-core/src/strido/policy.py, und der Roboter führt das exportierte Netz in ros2/strido_control/strido_control/policy_node.py aus. Arbeitsablauf: Simulation und RL und docs/simulation.md.

Der Markov-Entscheidungsprozess

Ein MDP ist ein Tupel $(\mathcal{S},\mathcal{A},P,r,\gamma )$: Zustände, Actions, Übergangswahrscheinlichkeiten $P(s^{\prime }\mid s,a)$, Reward $r(s,a)$ und Diskontfaktor $\gamma \in [0,1)$. In jedem Schritt beobachtet der Agent $s_t$, zieht $a_t\sim {\pi }_{\theta }(a\mid s_t)$ aus einer Policy mit Parametern $\theta$ (einem neuronalen Netz), und die Umgebung liefert $r_t$ und $s_{t+1}$. Markov bedeutet, dass $s_{t+1}$ nur von $(s_t,a_t)$ abhängt, nicht von der früheren Geschichte. Ein realer Roboter sieht nur einen Teil des Zustands (ein POMDP); in der Praxis fügen wir genug Geschichte hinzu (hier die vorherige Action und einen Gait-Takt), damit die Observation nahezu markovsch wird.

Returns und Diskontierung

Der Return ab Zeitpunkt $t$ ist die diskontierte Summe künftiger Rewards:

$$G_t=\sum _{k=0}^{\mathrm{\infty }}{\gamma }^k{r}_{t+k}$$

Die Diskontierung hält die Summe endlich und drückt eine Präferenz für früheren Reward aus. Der effektive Horizont beträgt etwa $1/(1-\gamma )$ Schritte. Rechenbeispiel: Strido trainiert mit $\gamma =0.99$ (train.py) bei einer Policy-Rate von $50\mathrm{Hz}$ ($\mathrm{\Delta }t=0.02\mathrm{s}$), der Horizont beträgt also etwa $100$ Schritte $=2\mathrm{s}$, d. h. fünf Gangzyklen zu $0.4\mathrm{s}$: lang genug, um Nicht-Umfallen zu bewerten, kurz genug, um schnell zu lernen.

Das Ziel ist der erwartete Return $J(\theta )={\mathbb{E}}_{\tau \sim {\pi }_{\theta }}[G_0]$ über Trajektorien $\tau$.

Value Functions

$$V^{\pi }(s)={\mathbb{E}}_{\pi }[G_t\mid s_t=s],Q^{\pi }(s,a)={\mathbb{E}}_{\pi }[G_t\mid s_t=s,a_t=a]$$

Sie erfüllen die Bellman-Gleichung

$$V^{\pi }(s)={\mathbb{E}}_{a\sim \pi ,s^{\prime }\sim P}[r(s,a)+\gamma V^{\pi }(s^{\prime })]$$

Der Advantage $A^{\pi }(s,a)=Q^{\pi }(s,a)-V^{\pi }(s)$ misst, um wie viel besser die Action $a$ als der Durchschnitt der Policy im Zustand $s$ ist.

Das Policy-Gradient-Theorem

Wir wollen ${\mathrm{\nabla }}_{\theta }J$, ohne durch die (unbekannte, nicht differenzierbare) Physik zu differenzieren. Der Likelihood-Ratio-Trick liefert

$${\mathrm{\nabla }}_{\theta }J(\theta )={\mathbb{E}}_{{\pi }_{\theta }}[\sum _t{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a_t\mid s_t)A^{\pi }(s_t,a_t)]$$

In Worten: Erhöhe die Log-Wahrscheinlichkeit von Actions, die sich als besser als der Durchschnitt erwiesen haben, und senke sie für schlechtere. Benötigt werden nur Stichproben aus dem Simulator und der Gradient der eigenen Log-Wahrscheinlichkeit des Netzes. Die Verwendung des Advantage (statt $G_t$) zieht eine Baseline $V(s)$ ab, was den Gradienten erwartungstreu lässt, aber seine Varianz stark verringert.

Generalised Advantage Estimation (GAE)

Der Advantage wird aus einem gelernten Critic $V_{\varphi }$ geschätzt. Der einstufige TD-Fehler ist

$${\delta }_t=r_t+\gamma V_{\varphi }(s_{t+1})-V_{\varphi }(s_t)$$

GAE bildet eine exponentiell gewichtete Summe davon:

$${\hat{A}}_t=\sum _{l=0}^{\mathrm{\infty }}(\gamma \lambda {)}^l{\delta }_{t+l}$$

$\lambda =0$ ergibt die varianzarme, aber verzerrte einstufige Schätzung; $\lambda =1$ ergibt den erwartungstreuen, aber varianzreichen Monte-Carlo-Return minus $V$. Strido verwendet $\lambda =0.95$ (gae_lambda in train.py). Bei Abbruch (einem Sturz) ist der Bootstrap $V_{\varphi }(s_{t+1})$ null; bei Kürzung durch das Zeitlimit bleibt er erhalten, da der Roboter hätte weitermachen können.

PPO: Proximal Policy Optimisation

Der einfache Policy Gradient macht einen Schritt pro Batch, und ein zu großer Schritt kann die Policy ruinieren. PPO verwendet jeden Batch für mehrere Epochen wieder und verhindert dabei, dass sich die neue Policy weit von derjenigen entfernt, die die Daten gesammelt hat. Mit dem Wahrscheinlichkeitsverhältnis

$${\rho }_t(\theta )=\frac{{\pi }_{\theta }(a_t\mid s_t)}{{\pi }_{{\theta }_{\mathrm{old}}}(a_t\mid s_t)}$$

lautet das geclippte Surrogat-Ziel

$$L^{\mathrm{CLIP}}(\theta )={\mathbb{E}}_t[min({\rho }_t{\hat{A}}_t,\mathrm{clip}({\rho }_t,1-ϵ,1+ϵ){\hat{A}}_t)]$$

Für eine gute Action ($\hat{A}>0$) endet der Gewinn, sobald $\rho >1+ϵ$; für eine schlechte ($\hat{A}<0$), sobald $\rho <1-ϵ$. Das $min$ macht es zu einer pessimistischen Schranke, sodass kein Anreiz besteht, sich weiter zu bewegen. Der vollständige Verlust ergänzt einen Regressionsterm für den Critic und optional einen Entropiebonus, der belohnt, die Policy zufällig genug für die Exploration zu halten:

$$L(\theta ,\varphi )=-L^{\mathrm{CLIP}}(\theta )+c_1{\mathbb{E}}_t\left[{(V_{\varphi }(s_t)-{\hat{G}}_t)}^2\right]-c_2{\mathbb{E}}_t\left[\mathcal{H}({\pi }_{\theta }(\cdot \mid s_t))\right]$$

Für kontinuierliche Actions ist die Policy eine diagonale Gaußverteilung ${\pi }_{\theta }(a\mid s)=\mathcal{N}({\mu }_{\theta }(s),\mathrm{diag}({\mathit{\sigma }}^2))$; im Einsatz wird der Mittelwert ${\mu }_{\theta }(s)$ verwendet.

Einstellungen von Strido (train.py): $ϵ=0.2$, $\gamma =0.99$, $\lambda =0.95$, Lernrate $3\times {10}^{-4}$, $1024$ Schritte pro Umgebung pro Rollout, Minibatch $2048$, 5 Epochen pro Rollout, $c_2=0$ (ent_coef=0.0: Exploration kommt nur aus der eigenen Streuung der Gaußverteilung, log_std_init=-1.0), standardmäßig insgesamt $2\times {10}^7$ Schritte. Observations und Rewards werden mit laufenden Statistiken normiert (VecNormalize, Observations bei $\pm 10$ begrenzt); Mittelwert und Varianz des Normierers werden mit den Gewichten exportiert, damit der Roboter dieselbe Skalierung anwendet.

Rechenbeispiel. Angenommen, eine Action hatte ${\hat{A}}_t=0.5$ und nach einem Update ${\rho }_t=1.35$. Ungeclippt wäre der Term $0.675$; geclippt ist er $1.2\times 0.5=0.6$, und der Gradient durch diese Stichprobe ist null, also hört PPO auf, die Wahrscheinlichkeit dieser Action nach oben zu drücken.

Die Strido-Umgebung

Timing. Policy mit $50\mathrm{Hz}$ (CONTROL_DT = 0.02), Physik mit $500\mathrm{Hz}$ (10 Teilschritte). Episoden dauern höchstens $1000$ Schritte ($20\mathrm{s}$). Die Servos werden als MJCF-Positionsaktuatoren mit einer Drehmomentgrenze von $3.43\mathrm{N}\mathrm{m}$ modelliert (Blockiermoment des SPT5435LV bei $6\mathrm{V}$).

Observation ($23$ Werte, OBSERVATION_SIZE):

$${\mathbf{o}}_t=[{\mathit{\omega }}_b,{\mathbf{g}}_b,\mathbf{c},{\mathbf{a}}_{t-1},\sin {\phi }_t,\cos {\phi }_t]\in {\mathbb{R}}^{3+3+3+12+2}$$

• ${\mathit{\omega }}_b$: Winkelgeschwindigkeit des Körpers vom IMU-Gyroskop;
• ${\mathbf{g}}_b={\mathbf{R}}^{\mathrm{\top }}(0,0,-1{)}^{\mathrm{\top }}$: die Richtung der Schwerkraft als Einheitsvektor im Basis-Frame, aus der IMU-Quaternion (kodiert Rollen und Nicken, nicht Gieren);
• $\mathbf{c}=(v_x,v_y,{\omega }_z)$: das Geschwindigkeitskommando, pro Episode gezogen aus $v_x\in [-0.15,0.30]\mathrm{m}/\mathrm{s}$, $v_y\in [-0.10,0.10]\mathrm{m}/\mathrm{s}$, ${\omega }_z\in [-0.6,0.6]\mathrm{rad}/\mathrm{s}$, und mit Wahrscheinlichkeit $0.2$ null;
• ${\mathbf{a}}_{t-1}$: die vorherige Action;
• ein Gait-Takt ${\phi }_t=2\pi t/T$ mit $T=0.4\mathrm{s}$ (GAIT_PERIOD_S), passend zum geskripteten Trot.

Jede Eingabe ist auf dem realen Roboter aus /imu/data und /cmd_vel verfügbar; es gibt keine Basisgeschwindigkeit und keine Gelenkrückmeldung (die Servos haben keine).

Action. ${\mathbf{a}}_t\in [-1,1{]}^{12}$ sind Abweichungen von der Standpose ${\mathbf{q}}_0$:

$${\mathbf{q}}_t^{\mathrm{target}}=\mathrm{clamp}\left(\mathrm{slew}({\mathbf{q}}_0+0.3{\mathbf{a}}_t)\right)$$

ACTION_SCALE $=0.3\mathrm{rad}$; slew_limit begrenzt die Gelenkgeschwindigkeit auf $6\mathrm{rad}/\mathrm{s}$ (die Grenze der Firmware), und clamp_targets wendet die Gelenk- und Kniekurbelgrenzen in derselben Reihenfolge wie die Firmware an, sodass die Policy nie lernt, sich auf Bewegungen zu verlassen, die der Roboter verweigern würde.

Reward. Mit der linearen Geschwindigkeit im Basis-Frame ${\mathbf{v}}_b$, der Winkelgeschwindigkeit ${\mathit{\omega }}_b$, den Aktuatorkräften $\mathit{\tau }$ und der Basishöhe $z$:

$$\begin{array}{rl}{r}_t=& 1.0\exp (-\frac{\Vert {\mathbf{v}}_b^{xy}-{\mathbf{c}}^{xy}{\Vert }^2}{0.01})+0.8\exp (-\frac{({\omega }_{b,z}-c_{\omega }{)}^2}{0.05})\\ & -2.0v_{b,z}^2-0.05\Vert {\mathit{\omega }}_b^{xy}{\Vert }^2-0.01\Vert {\mathbf{a}}_t-{\mathbf{a}}_{t-1}{\Vert }^2-0.002\Vert \mathit{\tau }{\Vert }^2-2.0max(0,0.15-z)\end{array}$$

Die beiden Exponentialterme belohnen das Verfolgen des Kommandos (höchstens $1.8$ pro Schritt); die Strafterme verhindern Hüpfen, Wackeln, ruckartige Actions, hohes Drehmoment (Wärme, Akku) und Ducken unter $0.15\mathrm{m}$. Der Code multipliziert mit CONTROL_DT * 50, was bei $50\mathrm{Hz}$ gleich $1$ ist.

Abbruch. Die Episode endet mit einer Strafe von $-2$, wenn die Basis unter $0.09\mathrm{m}$ sinkt oder sich der Körper so neigt, dass $-g_{b,z}<0.6$ (etwa ${53}^{\circ }$ Rollen oder Nicken).

Rechenbeispiel. Kommandiert $v_x=0.20\mathrm{m}/\mathrm{s}$, erreicht $0.15\mathrm{m}/\mathrm{s}$: Der Tracking-Term ist $\exp (-{0.05}^2/0.01)=\exp (-0.25)\approx 0.78$. Die Breite $0.01$ bedeutet, dass Fehler um $0.1\mathrm{m}/\mathrm{s}$ bereits den Großteil des Rewards kosten ($\exp (-1)\approx 0.37$).

Domain Randomization und die Sim-to-Real-Lücke

Eine Policy, die Eigenheiten des Simulators ausnutzt, versagt auf der Hardware: die Sim-to-Real-Lücke. Ursachen sind unter anderem nicht modellierte Servodynamik und Spiel, Reibung, Fehler bei Masse und Trägheit, Sensorrauschen und Latenz. Domain Randomization trainiert auf einer Verteilung von Simulatoren, sodass der reale Roboter hoffentlich nur eine weitere Stichprobe ist:

$$\underset{\theta }{max}{\mathbb{E}}_{\xi \sim p(\xi )}[J_{\xi }(\theta )]$$

wobei $\xi$ Physikparameter sind. StridoEnv._randomise zieht pro Episode:

Parameter	Bereich
Servosteifigkeit $k_p$	$\times U(0.85,1.15)$
Basismasse	$\times U(0.90,1.15)$
Boden- und Fußreibung	$\times U(0.6,1.2)$
Gyroskoprauschen	$\mathcal{N}(0,{0.05}^2)$ pro Schritt
Rauschen des Schwerkraftvektors	$\mathcal{N}(0,{0.02}^2)$ pro Schritt
anfängliche Gelenkwinkel	${\mathbf{q}}_0+\mathcal{N}(0,{0.02}^2)$

Da die Policy aus einer einzelnen Observation nicht erkennen kann, in welchem $\xi$ sie sich befindet, lernt sie ein Verhalten, das über alle hinweg robust ist. Weitere Mittel gegen die Lücke (hier nicht alle verwendet): an gemessene Servoantworten angepasste Aktuatormodelle, Observation-Latenz, Stoßstörungen und Gelände-Curricula.

Prüfen Sie sich selbst

1. Wie groß ist der effektive Horizont in Sekunden für $\gamma =0.99$ bei $50\mathrm{Hz}$, und wie, wenn die Policy mit demselben $\gamma$ bei $100\mathrm{Hz}$ liefe?

   Antwort

   Etwa $100$ Schritte $=2\mathrm{s}$; bei $100\mathrm{Hz}$ halbiert er sich auf $1\mathrm{s}$, daher sollte $\gamma$ auf etwa $0.995$ steigen, um denselben Horizont zu behalten.

2. Warum verzerrt das Abziehen von $V(s)$ den Policy Gradient nicht?

   Antwort

   ${\mathbb{E}}_{a\sim \pi }[{\mathrm{\nabla }}_{\theta }\log {\pi }_{\theta }(a\mid s)]={\mathrm{\nabla }}_{\theta }\sum _a{\pi }_{\theta }(a\mid s)={\mathrm{\nabla }}_{\theta }1=0$, daher hat jede nur vom Zustand abhängige Baseline einen erwarteten Beitrag von null.

3. Bei $ϵ=0.2$ und ${\hat{A}}_t<0$: Für welche ${\rho }_t$ liefert der PPO-Term keinen Gradienten mehr?

   Antwort

   Für ${\rho }_t<0.8$: Die Wahrscheinlichkeit der Action wurde bereits genug verringert.

4. Warum enthält die Observation die Schwerkraftrichtung statt Euler-Winkeln einschließlich Gieren?

   Antwort

   Gehen hängt nicht von der Blickrichtung ab, und das Gieren aus einer IMU ohne Magnetometer driftet; der Schwerkraftvektor ist driftfrei und stetig.

5. Nennen Sie zwei Sim-to-Real-Effekte, die die Randomisierung von Strido nicht abdeckt.

   Antwort

   Zum Beispiel Sensor- und Aktuatorlatenz, Servospiel oder Totzone, äußere Stöße, unebenes Gelände.

Weiterführende Literatur

• R. S. Sutton und A. G. Barto, Reinforcement Learning: An Introduction, 2. Aufl., MIT Press, 2018.
• J. Schulman, F. Wolski, P. Dhariwal, A. Radford und O. Klimov, „Proximal Policy Optimization Algorithms“, arXiv:1707.06347, 2017.
• J. Schulman, P. Moritz, S. Levine, M. Jordan und P. Abbeel, „High-Dimensional Continuous Control Using Generalized Advantage Estimation“, ICLR, 2016.
• J. Tobin et al., „Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World“, IROS, 2017.
• J. Hwangbo et al., „Learning agile and dynamic motor skills for legged robots“, Science Robotics, 2019.