Salt la conținut

Control continuu cu PPO în MuJoCo

AvansatLectură: 4 min

Paginile introductive despre învățarea prin consolidare și despre gradientul strategiei și REINFORCE explică ideile de bază: stări, acțiuni, recompense și optimizarea directă a unei strategii de decizie. În sarcinile discrete clasice, de exemplu alegerea unei mutări într-un joc sau a următorului token dintr-un vocabular, agentul alege dintr-un număr finit de acțiuni.

În robotică și în automatizări, deciziile sunt continue. Actuatoarele nu primesc comenzi de tipul „stânga” sau „dreapta”, ci valori fizice continue, cum ar fi un cuplu mecanic (torque) sau o tensiune electrică aplicată fiecărei articulații. Acest tip de probleme se numește control continuu (continuous control).

În acest laborator construim o soluție completă de control continuu. Antrenăm robotul HalfCheetah să învețe de la zero să alerge înainte într-un simulator fizic foarte precis, MuJoCo, cu PPO (Proximal Policy Optimization), un algoritm de referință în domeniu. Codul complet se găsește pe GitHub, în repozitoriul inteligentArtificiala-ro/control-continuu-ppo.

Înainte de antrenare
După 300.000 de pași
După 1.000.000 de pași
Rezultatul obținut cu codul și setările laboratorului: robotul HalfCheetah înainte de antrenare, cu o strategie aleatoare, apoi după 300.000 și după 1.000.000 de pași de antrenare cu PPO. Fiecare clip arată primele 10 secunde dintr-un episod de 50 de secunde, în timp real. În episodul întreg, strategia finală parcurge aproximativ 89 de metri.

Robotul învață să alerge, dar pe spate. Recompensa din HalfCheetah răsplătește doar viteza spre înainte și penalizează puțin efortul articulațiilor. Nu cere nicăieri ca robotul să stea pe picioare, așa că, pentru algoritm, alergarea pe spate este o soluție la fel de bună ca oricare alta. Cu aceleași setări, alte șase antrenări, pornite de la alte valori inițiale aleatoare (seed), au ajuns tot la alergarea pe spate. Agentul optimizează exact recompensa primită, nu intenția celui care a scris-o, iar aceasta este una dintre cele mai importante lecții ale învățării prin consolidare.

MuJoCo (Multi-Joint dynamics with Contact) este un simulator fizic dezvoltat de Emo Todorov și achiziționat apoi de DeepMind (astăzi Google DeepMind). A devenit standardul în cercetarea de învățare prin consolidare pentru robotică, pentru că este foarte rapid și simulează fidel contactele dintre corpurile rigide.

HalfCheetah este un robot bidimensional cu două picioare, inspirat de ghepard, format din 7 segmente rigide articulate: un trunchi și două picioare, unul în față și unul în spate. Fiecare picior are trei articulații acționate (șold/coapsă, genunchi/tibie, gleznă/laba piciorului). La începutul antrenării acțiunile sunt complet aleatoare, iar robotul se zbate și cade. Cu PPO, agentul învață să coordoneze comenzile date articulațiilor, ca să înainteze cât mai repede.

  1. Mediul și acțiunile continue prezintă spațiul de observație cu 17 dimensiuni, cele 6 articulații acționate și felul în care modelăm o strategie stocastică printr-o distribuție gaussiană multivariată.
  2. Rețeaua Actor-Critic construiește în PyTorch rețeaua actor-critic, cu inițializare ortogonală și cu deviația standard parametrizată separat.
  3. Algoritmul PPO și GAE explică funcția obiectiv tăiată (clipped surrogate objective), bufferul de traiectorii și estimarea generalizată a avantajului (GAE).
  4. Antrenare și evaluare descrie antrenarea completă cu mai multe medii vectorizate, rulate în paralel, urmărirea metricilor și rularea deterministă a strategiei antrenate.
  • Python 3.10 sau mai nou.
  • Pachete Python: torch, gymnasium cu suport MuJoCo (gymnasium[mujoco]), numpy și tensorboard.
  • Simulatorul MuJoCo: MuJoCo este astăzi gratuit și cu sursă deschisă. Vine ca pachet Python (mujoco) și se instalează automat, fără licențe externe și fără setări de sistem făcute manual.
  • Hardware: un procesor cu 4–8 nuclee este suficient. O placă grafică NVIDIA (CUDA) este folosită automat dacă există, dar nu este necesară.

Puteți clona repozitoriul cu Git sau puteți descărca fișierele unul câte unul.

Terminal window
git clone https://github.com/inteligentArtificiala-ro/control-continuu-ppo.git
cd control-continuu-ppo
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

După instalare, totul se reduce la trei comenzi: antrenarea, urmărirea graficelor și evaluarea, cu înregistrarea unui videoclip.

Terminal window
python train.py # antrenează agentul timp de 1.000.000 de pași
tensorboard --logdir runs # graficele antrenării, la http://localhost:6006
python evaluate.py --video # evaluează strategia și generează videoclipul rulării

Laboratorul poate rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser, fără nicio instalare pe calculatorul propriu. Notebookul laboratorului, care se deschide în Colab cu butonul de la începutul paginii, descarcă fișierele de mai sus, rulează antrenarea cu graficele din TensorBoard afișate direct în notebook, apoi evaluarea, și arată la final videoclipul robotului. Simularea rulează pe procesor, iar mașinile virtuale Colab au puține nuclee, așa că antrenarea durează mai mult decât pe un calculator cu 4–8 nuclee. Placa grafică din Colab este folosită pentru desenarea cadrelor videoclipului.