Gradientul strategiei și REINFORCE
REINFORCE este punctul de plecare al metodelor bazate pe gradientul strategiei (policy gradient). Ronald Williams l-a publicat în 1992, în articolul „Simple statistical gradient-following algorithms for connectionist reinforcement learning”. Aceeași idee stă la baza metodelor de azi, inclusiv PPO și GRPO, folosite la alinierea modelelor de limbaj mari.
Pagina folosește noțiunile introduse în Învățare prin consolidare: stare, acțiune, recompensă, strategie și recompensă cumulată.
Motivație
Secțiune intitulată „Motivație”O strategie este o funcție cu parametrii , de exemplu o rețea neuronală care primește starea curentă și dă probabilitățile acțiunilor posibile. Vrem să maximizăm valoarea așteptată a recompensei cumulate.
Pentru curioșiFuncția obiectiv
unde este o traiectorie (trajectory), adică un episod complet generat urmând strategia, iar este recompensa totală a episodului.
Aici nu putem aplica direct coborârea pe gradient. Recompensa vine de la un mediu pe care de obicei nu îl putem deriva și pentru care nu avem o formulă, iar acțiunile sunt eșantionate aleatoriu. Gradientul strategiei ocolește ambele obstacole.
Formula gradientului
Secțiune intitulată „Formula gradientului”Gradientul recompensei așteptate se poate scrie tot ca o medie, pe care o estimăm din episoadele generate cu strategia, fără să derivăm mediul sau recompensa. În această medie, fiecare acțiune contribuie cu direcția în care trebuie mutați parametrii ca acțiunea să devină mai probabilă, înmulțită cu recompensa cumulată obținută din acel moment.
Pentru curioșiDerivarea gradientului strategiei
Pentru orice distribuție de probabilitate și orice funcție scalară este adevărată următoarea identitate.
Identitatea vine din proprietatea . Gradientul unei medii devine astfel tot o medie, pe care o putem estima din eșantioane, prin metoda Monte Carlo. Funcția nu trebuie să fie derivabilă, așa că recompensa poate veni din orice sursă externă.
Probabilitatea unei traiectorii este produsul dintre probabilitățile acțiunilor (date de strategia ) și probabilitățile de tranziție ale mediului. Termenii care țin de mediu nu depind de , așa că dispar la derivare. Rămâne următoarea expresie.
unde este recompensa cumulată de la pasul până la sfârșitul episodului. O acțiune poate influența doar ce urmează, de aceea o ponderăm cu , nu cu recompensa totală a episodului.
Rezultatul se numește teorema gradientului strategiei (policy gradient theorem). Richard Sutton și colaboratorii lui l-au demonstrat în 2000.
Algoritmul
Secțiune intitulată „Algoritmul”REINFORCE estimează gradientul din episoade complete.
-
Generăm un episod cu strategia curentă și reținem stările, acțiunile și recompensele care apar pe parcurs.
-
Pentru fiecare pas calculăm recompensa cumulată , de la acel pas până la final.
-
Actualizăm parametrii cu rata de învățare .
Pentru curioșiRegula de actualizare
Termenul arată în ce direcție trebuie mutați parametrii ca acțiunea aleasă să devină mai probabilă, iar numărul stabilește cât de mare este pasul.
Intuitiv, acțiunile urmate de recompense mari devin mai probabile în episoadele următoare, iar cele care aduc puțin sunt descurajate.
Linia de bază
Secțiune intitulată „Linia de bază”Estimarea gradientului are o varianță (variance) mare. Două episoade generate cu aceeași strategie pot avea recompense foarte diferite, așa că actualizările oscilează. Dacă toate recompensele sunt pozitive, orice acțiune aleasă devine mai probabilă, chiar și una slabă, doar că mai puțin decât una foarte bună.
Soluția este să scădem din recompensa cumulată o linie de bază (baseline) , care nu depinde de acțiune.
Pentru curioșiGradientul cu linie de bază
Termenul scăzut are media zero, deci estimarea gradientului rămâne nedeplasată (unbiased), dar varianța scade mult.
Acum devin mai probabile doar acțiunile mai bune decât linia de bază. O alegere firească pentru este funcția de valoare , iar diferența este o estimare a avantajului. Când este aproximată de o a doua rețea, metoda devine actor-critic.
Un automat cu trei manete
Secțiune intitulată „Un automat cu trei manete”Cea mai simplă problemă de acest fel este un automat cu mai multe manete (multi-armed bandit). Are o singură stare și trei acțiuni. Prima aduce recompensa 1 cu probabilitatea 0,2, a doua cu 0,5, iar a treia cu 0,8. Altfel, recompensa este 0. Agentul nu cunoaște aceste probabilități. Strategia este un softmax peste trei parametri. Pentru softmax, gradientul lui este vectorul care are 1 pe poziția acțiunii alese, din care scădem vectorul probabilităților. Linia de bază este media mobilă a recompenselor.
import numpy as np
rng = np.random.default_rng(seed=0)reward_probs = np.array([0.2, 0.5, 0.8]) # probabilitatea de câștig a fiecărei acțiunitheta = np.zeros(3) # parametrii strategiei: câte un scor pentru fiecare acțiunealpha = 0.1 # rata de învățarebaseline = 0.0 # media mobilă a recompenselor
def policy(theta): e = np.exp(theta - theta.max()) return e / e.sum()
for step in range(1, 2001): pi = policy(theta) a = rng.choice(3, p=pi) r = float(rng.random() < reward_probs[a]) # recompensa: 1 sau 0 # Pentru softmax, gradientul lui log π(a) este one_hot(a) - π. grad_log_pi = -pi grad_log_pi[a] += 1 theta += alpha * (r - baseline) * grad_log_pi baseline += 0.01 * (r - baseline) if step in (1, 100, 500, 2000): print(f"Pasul {step:>4}: probabilitățile acțiunilor {np.round(policy(theta), 2)}")Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Strategia pornește uniformă și ajunge să aleagă aproape mereu a treia acțiune, cea mai profitabilă, deși agentul nu cunoaște probabilitățile de câștig. Merită să încercăm alte valori pentru rata de învățare sau pentru probabilitățile din reward_probs, ori să eliminăm linia de bază (baseline = 0 la fiecare pas).
Limitări
Secțiune intitulată „Limitări”Metodele apărute ulterior rezolvă aceste probleme. Metodele actor-critic învață o funcție de valoare, ca să estimeze mai precis avantajele. PPO (proximal policy optimization) limitează cât se poate schimba strategia la o actualizare și refolosește fiecare lot de episoade de mai multe ori. GRPO calculează avantajele comparând mai multe încercări pentru aceeași problemă. Ultimele două sunt descrise pe pagina Învățare prin consolidare pentru LLM-uri.
Bibliografie
Secțiune intitulată „Bibliografie”- Greensmith, E., Bartlett, P. L. și Baxter, J. (2004). Variance Reduction Techniques for Gradient Estimates in Reinforcement Learning. Journal of Machine Learning Research, 5, 1471–1530.
- Konda, V. R. și Tsitsiklis, J. N. (2000). Actor-Critic Algorithms. Advances in Neural Information Processing Systems, 12.
- Lattimore, T. și Szepesvári, C. (2020). Bandit Algorithms. Cambridge University Press.
- Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. Preprint arXiv:1707.06347.
- Shao, Z. et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. Preprint arXiv:2402.03300.
- Sutton, R. S. et al. (2000). Policy Gradient Methods for Reinforcement Learning with Function Approximation. Advances in Neural Information Processing Systems, 12.
- Sutton, R. S. și Barto, A. G. (2018). Reinforcement Learning: An Introduction (ed. a 2-a). MIT Press.
- Williams, R. J. (1992). Simple statistical gradient-following algorithms for connectionist reinforcement learning. Machine Learning, 8(3–4), 229–256. ↩︎
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.