Salt la conținut

Mediul și acțiunile continue

AvansatLectură: 4 min

În problemele clasice de învățare prin consolidare, agentul alege de obicei dintr-un set finit de acțiuni discrete: apasă o tastă într-un joc, trage una dintre cele trei manete ale unui automat sau, în cazul unui model de limbaj, alege un token din vocabular. În astfel de cazuri, rețeaua neuronală produce scoruri nenormalizate (logits), iar funcția softmax le transformă în probabilitatea fiecărei opțiuni.

Un robot fizic funcționează altfel. Actuatoarele robotului primesc valori continue: tensiuni electrice, presiuni hidraulice sau cupluri mecanice (torques). Spațiul acțiunilor nu mai este o mulțime discretă, ci un interval multidimensional din Rd\mathbb{R}^d.

Mediul HalfCheetah simulează un ghepard robotic bidimensional, care se poate mișca doar într-un plan vertical: pe axa orizontală XX, de înaintare, și pe axa verticală ZZ. Corpul robotului este format din 7 segmente rigide articulate:

  • un trunchi (torso),
  • un picior din spate (coapsă, tibie și laba piciorului),
  • un picior din față (coapsă, tibie și laba piciorului).

Articulațiile dintre segmente sunt acționate de 6 servomotoare independente: 3 pentru piciorul din spate și 3 pentru cel din față.

La fiecare pas de timp tt, MuJoCo returnează o observație (state / observation) st∈R17s_t \in \mathbb{R}^{17}. Vectorul conține tot ce ne trebuie pentru a descrie starea fizică a robotului: poziții, unghiuri și viteze.

DimensiuneSemnificație fizică
s[0]s[0]Poziția pe verticală a corpului (înălțimea zz)
s[1]s[1]Unghiul de înclinare al trunchiului
s[2..7]s[2..7]Unghiurile celor 6 articulații acționate
s[8]s[8]Viteza de înaintare pe orizontală (vxv_x)
s[9]s[9]Viteza pe verticală (vzv_z)
s[10]s[10]Viteza unghiulară a trunchiului
s[11..16]s[11..16]Vitezele unghiulare ale celor 6 articulații

Poziția absolută pe orizontală, xx, lipsește intenționat din observația primită de agent. Vrem ca strategia învățată să fie invariantă la translație: felul în care robotul aleargă trebuie să depindă doar de postură și de vitezele curente, nu de distanța parcursă până atunci.

Acțiunea at∈R6a_t \in \mathbb{R}^6 este un vector de 6 numere reale din intervalul [−1,1][-1, 1]. Fiecare element este cuplul mecanic normalizat aplicat unei articulații:

  • a0,a1,a2a_0, a_1, a_2 sunt cuplurile aplicate articulațiilor piciorului din spate (coapsă, tibie, labă),
  • a3,a4,a5a_3, a_4, a_5 sunt cuplurile aplicate articulațiilor piciorului din față (coapsă, tibie, labă).

Agentul trebuie să înainteze cât mai repede pe axa XX și, în același timp, să consume cât mai puțină energie. De aceea, recompensa de la fiecare pas are doi termeni: viteza de înaintare, din care se scade o penalizare pentru pătratul acțiunilor.

Pentru curioșiFormula recompensei
rt=vx,t−0,1⋅∑i=16at,i2r_t = v_{x, t} - 0{,}1 \cdot \sum_{i=1}^{6} a_{t, i}^2

Cum putem construi o strategie stocastică πθ(a∣s)\pi_\theta(a \mid s) atunci când aa este un vector continuu?

Soluția obișnuită este o distribuție gaussiană multivariată diagonală (diagonal Gaussian distribution). Rețeaua neuronală primește observația sts_t și prezice media acțiunilor, μθ(st)∈R6\mu_\theta(s_t) \in \mathbb{R}^6. Pe lângă medie, fiecare articulație ii are propria deviație standard, σi=exp⁡(log⁡σi)\sigma_i = \exp(\log \sigma_i).

Tratăm articulațiile ca independente, așa că densitatea de probabilitate a unei acțiuni continue a∈Rda \in \mathbb{R}^d este produsul densităților gaussiene unidimensionale, câte una pentru fiecare articulație. Pentru optimizarea pe gradient avem nevoie de logaritmul natural al densității de probabilitate, numit de obicei log-probabilitate (log-probability).

Pentru curioșiDensitatea și log-probabilitatea unei acțiuni
p(a∣s)=∏i=1d12πσi2exp⁡(−(ai−μi)22σi2)p(a \mid s) = \prod_{i=1}^{d} \frac{1}{\sqrt{2\pi \sigma_i^2}} \exp\left( -\frac{(a_i - \mu_i)^2}{2\sigma_i^2} \right)

Log-probabilitatea este logaritmul natural al acestei densități.

log⁡π(a∣s)=−12∑i=1d((ai−μi)2σi2+2log⁡σi+log⁡(2π))\log \pi(a \mid s) = -\frac{1}{2} \sum_{i=1}^{d} \left( \frac{(a_i - \mu_i)^2}{\sigma_i^2} + 2\log \sigma_i + \log(2\pi) \right)

Entropia distribuției ne spune cât de mare este incertitudinea strategiei și, implicit, cât de mult explorează agentul.

Pentru curioșiEntropia gaussienei diagonale

Pentru o gaussiană multivariată diagonală, entropia se calculează astfel.

H(π(⋅∣s))=12∑i=1d(1+log⁡(2π)+2log⁡σi)H(\pi(\cdot \mid s)) = \frac{1}{2} \sum_{i=1}^{d} \left( 1 + \log(2\pi) + 2\log \sigma_i \right)

La începutul antrenării, σi\sigma_i este mare (de regulă în jurul valorii 1,01{,}0), așa că agentul încearcă comenzi foarte variate. Pe măsură ce antrenarea avansează, σi\sigma_i scade, iar strategia devine tot mai concentrată și mai precisă în jurul mediei învățate μ(s)\mu(s).

Exemplul de mai jos rulează direct în browser. Eșantionează o acțiune pentru cele 6 articulații, apoi calculează log-probabilitatea și entropia cu formulele de mai sus.

import numpy as np
rng = np.random.default_rng(seed=42)
d = 6 # 6 articulații acționate
# Presupunem că rețeaua actor a returnat următoarea medie mu și log_std:
mu = np.array([0.5, -0.2, 0.1, 0.8, -0.4, 0.0])
log_std = np.zeros(d) # exp(0) = 1.0 deviație standard inițială
std = np.exp(log_std)
# Eșantionarea acțiunii: a = mu + std * zgomot_normal
noise = rng.normal(size=d)
action = mu + std * noise
# Calculul log-probabilității analitice
log_probs = -0.5 * (((action - mu) / std) ** 2 + 2 * log_std + np.log(2 * np.pi))
total_log_prob = np.sum(log_probs)
# Calculul entropiei
entropy = 0.5 * np.sum(1.0 + np.log(2 * np.pi) + 2 * log_std)
np.set_printoptions(precision=3, suppress=True)
print("Media prezisă de rețea (mu):", mu)
print("Acțiunea eșantionată (a): ", np.round(action, 3))
print("Log-probabilitate totală: ", round(float(total_log_prob), 4))
print("Entropia distribuției: ", round(float(entropy), 4))

Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).

Acum că știm cum parametrizăm distribuția gaussiană, putem construi rețeaua neuronală în PyTorch. Asta facem pe pagina următoare, despre rețeaua Actor-Critic.