Mediul și acțiunile continue
În problemele clasice de învățare prin consolidare, agentul alege de obicei dintr-un set finit de acțiuni discrete: apasă o tastă într-un joc, trage una dintre cele trei manete ale unui automat sau, în cazul unui model de limbaj, alege un token din vocabular. În astfel de cazuri, rețeaua neuronală produce scoruri nenormalizate (logits), iar funcția softmax le transformă în probabilitatea fiecărei opțiuni.
Un robot fizic funcționează altfel. Actuatoarele robotului primesc valori continue: tensiuni electrice, presiuni hidraulice sau cupluri mecanice (torques). Spațiul acțiunilor nu mai este o mulțime discretă, ci un interval multidimensional din .
Mediul HalfCheetah în MuJoCo
Secțiune intitulată „Mediul HalfCheetah în MuJoCo”Mediul HalfCheetah simulează un ghepard robotic bidimensional, care se poate mișca doar într-un plan vertical: pe axa orizontală , de înaintare, și pe axa verticală . Corpul robotului este format din 7 segmente rigide articulate:
- un trunchi (torso),
- un picior din spate (coapsă, tibie și laba piciorului),
- un picior din față (coapsă, tibie și laba piciorului).
Articulațiile dintre segmente sunt acționate de 6 servomotoare independente: 3 pentru piciorul din spate și 3 pentru cel din față.
Spațiul de observație
Secțiune intitulată „Spațiul de observație”La fiecare pas de timp , MuJoCo returnează o observație (state / observation) . Vectorul conține tot ce ne trebuie pentru a descrie starea fizică a robotului: poziții, unghiuri și viteze.
| Dimensiune | Semnificație fizică |
|---|---|
| Poziția pe verticală a corpului (înălțimea ) | |
| Unghiul de înclinare al trunchiului | |
| Unghiurile celor 6 articulații acționate | |
| Viteza de înaintare pe orizontală () | |
| Viteza pe verticală () | |
| Viteza unghiulară a trunchiului | |
| Vitezele unghiulare ale celor 6 articulații |
Poziția absolută pe orizontală, , lipsește intenționat din observația primită de agent. Vrem ca strategia învățată să fie invariantă la translație: felul în care robotul aleargă trebuie să depindă doar de postură și de vitezele curente, nu de distanța parcursă până atunci.
Spațiul de acțiune
Secțiune intitulată „Spațiul de acțiune”Acțiunea este un vector de 6 numere reale din intervalul . Fiecare element este cuplul mecanic normalizat aplicat unei articulații:
- sunt cuplurile aplicate articulațiilor piciorului din spate (coapsă, tibie, labă),
- sunt cuplurile aplicate articulațiilor piciorului din față (coapsă, tibie, labă).
Funcția de recompensă
Secțiune intitulată „Funcția de recompensă”Agentul trebuie să înainteze cât mai repede pe axa și, în același timp, să consume cât mai puțină energie. De aceea, recompensa de la fiecare pas are doi termeni: viteza de înaintare, din care se scade o penalizare pentru pătratul acțiunilor.
Pentru curioșiFormula recompensei
Strategia gaussiană continuă
Secțiune intitulată „Strategia gaussiană continuă”Cum putem construi o strategie stocastică atunci când este un vector continuu?
Soluția obișnuită este o distribuție gaussiană multivariată diagonală (diagonal Gaussian distribution). Rețeaua neuronală primește observația și prezice media acțiunilor, . Pe lângă medie, fiecare articulație are propria deviație standard, .
Tratăm articulațiile ca independente, așa că densitatea de probabilitate a unei acțiuni continue este produsul densităților gaussiene unidimensionale, câte una pentru fiecare articulație. Pentru optimizarea pe gradient avem nevoie de logaritmul natural al densității de probabilitate, numit de obicei log-probabilitate (log-probability).
Pentru curioșiDensitatea și log-probabilitatea unei acțiuni
Log-probabilitatea este logaritmul natural al acestei densități.
Entropia distribuției ne spune cât de mare este incertitudinea strategiei și, implicit, cât de mult explorează agentul.
Pentru curioșiEntropia gaussienei diagonale
Pentru o gaussiană multivariată diagonală, entropia se calculează astfel.
La începutul antrenării, este mare (de regulă în jurul valorii ), așa că agentul încearcă comenzi foarte variate. Pe măsură ce antrenarea avansează, scade, iar strategia devine tot mai concentrată și mai precisă în jurul mediei învățate .
Calculul interactiv în Python
Secțiune intitulată „Calculul interactiv în Python”Exemplul de mai jos rulează direct în browser. Eșantionează o acțiune pentru cele 6 articulații, apoi calculează log-probabilitatea și entropia cu formulele de mai sus.
import numpy as np
rng = np.random.default_rng(seed=42)d = 6 # 6 articulații acționate
# Presupunem că rețeaua actor a returnat următoarea medie mu și log_std:mu = np.array([0.5, -0.2, 0.1, 0.8, -0.4, 0.0])log_std = np.zeros(d) # exp(0) = 1.0 deviație standard inițialăstd = np.exp(log_std)
# Eșantionarea acțiunii: a = mu + std * zgomot_normalnoise = rng.normal(size=d)action = mu + std * noise
# Calculul log-probabilității analiticelog_probs = -0.5 * (((action - mu) / std) ** 2 + 2 * log_std + np.log(2 * np.pi))total_log_prob = np.sum(log_probs)
# Calculul entropieientropy = 0.5 * np.sum(1.0 + np.log(2 * np.pi) + 2 * log_std)
np.set_printoptions(precision=3, suppress=True)print("Media prezisă de rețea (mu):", mu)print("Acțiunea eșantionată (a): ", np.round(action, 3))print("Log-probabilitate totală: ", round(float(total_log_prob), 4))print("Entropia distribuției: ", round(float(entropy), 4))Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Acum că știm cum parametrizăm distribuția gaussiană, putem construi rețeaua neuronală în PyTorch. Asta facem pe pagina următoare, despre rețeaua Actor-Critic.
Bibliografie
Secțiune intitulată „Bibliografie”- Sutton, R. S. și Barto, A. G. (2018). Reinforcement Learning: An Introduction (ed. a 2-a). MIT Press.
- Todorov, E., Erez, T. și Tassa, Y. (2012). MuJoCo: A physics engine for model-based control. IROS 2012.
- Towers, M. et al. (2024). Gymnasium: A Standard Interface for Reinforcement Learning Environments. Preprint arXiv:2407.17032.
- Wawrzyński, P. (2009). A Cat-Like Robot Real-Time Learning to Run. ICANNGA 2009.
- Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.