Salt la conținut

Învățare prin consolidare pentru LLM-uri

AvansatLectură: 7 min

Un model preantrenat continuă texte, iar ajustarea fină pe exemple îl învață formatul unei conversații. Etapa următoare folosește învățarea prin consolidare: modelul generează răspunsuri, acestea primesc un scor, iar modelul este ajustat spre răspunsurile cu scor mare. Așa poate învăța și comportamente pentru care nu există exemple scrise de oameni, ci doar o metodă de a le evalua.

Pornim de la noțiunile de strategie de decizie (policy), recompensă și avantaj și de la formula gradientului strategiei, explicate pe pagina despre gradientul strategiei și REINFORCE.

Corespondența cu termenii învățării prin consolidare este directă.

  • Strategia (policy) este modelul de limbaj πθ\pi_\theta.
  • Starea este promptul xx, împreună cu tokenurile generate până atunci.
  • Acțiunea este următorul token, ales din vocabular.
  • Episodul este un răspuns complet yy, de la primul token până la tokenul de final.
  • Recompensa r(x,y)r(x, y) se primește de obicei o singură dată, la finalul răspunsului.

Recompensa poate veni de la un model de recompensă (reward model), antrenat să imite preferințele oamenilor, sau de la un program care verifică răspunsul, de exemplu rezultatul unei probleme de matematică sau trecerea unor teste pentru cod.

În metoda RLHF (reinforcement learning from human feedback), descrisă de Christiano și colaboratorii în 2017 și folosită de OpenAI în 2022 pentru InstructGPT, evaluatori umani compară câte două răspunsuri la același prompt și îl aleg pe cel mai bun. Pe aceste comparații se antrenează un model de recompensă rϕr_\phi, de obicei tot un model de limbaj, cu un strat final care dă un singur număr. Modelul învață să dea răspunsului preferat un scor mai mare decât celui respins.

Pentru curioșiPierderea modelului de recompensă
L(ϕ)=−log⁡σ(rϕ(x,yw)−rϕ(x,yl))L(\phi) = -\log \sigma\big( r_\phi(x, y_w) - r_\phi(x, y_l) \big)

unde ywy_w este răspunsul preferat, yly_l cel respins, iar σ\sigma este funcția sigmoidă. Pierderea este mică atunci când răspunsul preferat primește un scor clar mai mare.

Apoi, modelul de recompensă ține locul evaluatorilor și poate nota milioane de răspunsuri, mult mai multe decât ar putea evalua oamenii de mână.

PPO (proximal policy optimization) a fost propus în 2017 de Schulman și colaboratorii, la OpenAI, și a fost metoda folosită pentru InstructGPT. Pornește de la gradientul strategiei (policy gradient), dar limitează cât se poate schimba strategia la o actualizare.

Pentru fiecare token tt al unui răspuns se calculează raportul dintre probabilitatea tokenului sub noua strategie și sub cea care a generat răspunsul. Obiectivul PPO face mai probabile tokenurile cu avantaj pozitiv și mai puțin probabile pe cele cu avantaj negativ, dar, printr-o decupare (clipping), nu mai răsplătește schimbarea după ce raportul s-a îndepărtat de 1 cu mai mult de o marjă mică, de obicei 0,2.

Pentru curioșiFuncția obiectiv PPO

Raportul se scrie astfel.

ρt(θ)=πθ(yt∣x,y<t)πθold(yt∣x,y<t)\rho_t(\theta) = \frac{\pi_\theta(y_t \mid x, y_{<t})}{\pi_{\theta_{\text{old}}}(y_t \mid x, y_{<t})}

Obiectivul cu decupare are forma următoare.

LCLIP(θ)=Et[min⁡(ρt(θ) A^t, clip⁡(ρt(θ),1−ε,1+ε) A^t)]L^{\text{CLIP}}(\theta) = \mathbb{E}_t\Big[ \min\big( \rho_t(\theta)\, \hat{A}_t,\ \operatorname{clip}(\rho_t(\theta), 1 - \varepsilon, 1 + \varepsilon)\, \hat{A}_t \big) \Big]

unde A^t\hat{A}_t este avantajul estimat, iar ε\varepsilon este de obicei 0,2. Dacă un token are avantaj pozitiv, obiectivul crește odată cu probabilitatea tokenului, dar numai până când raportul ajunge la 1+ε1 + \varepsilon. Peste această limită, gradientul devine zero, deci nu se mai câștigă nimic dacă strategia este împinsă mai departe. Pentru avantaje negative, limita este 1−ε1 - \varepsilon.

Datorită decupării, fiecare lot de răspunsuri poate fi folosit pentru mai mulți pași de actualizare fără ca strategia să se degradeze.

Avantajele vin de la un model de valoare (value model), numit și critic, care estimează pentru fiecare token recompensa așteptată de acolo până la final. PPO le calculează de obicei cu metoda GAE (generalized advantage estimation), propusă tot de Schulman și colaboratorii. Criticul este un al doilea model care trebuie antrenat, de obicei de aceeași mărime cu modelul principal (strategia).

GRPO (group relative policy optimization) a fost propus în 2024 de Shao și colaboratorii, la DeepSeek, pentru modelul DeepSeekMath. Renunță la modelul de valoare și estimează avantajele altfel, comparând mai multe răspunsuri la același prompt.

PPO și GRPOÎn PPO, strategia generează un răspuns, modelul de recompensă îl evaluează, cu o penalizare KL față de modelul de referință, iar un model de valoare estimează avantajele. În GRPO, strategia generează un grup de G răspunsuri la același prompt, recompensele răspunsurilor sunt normalizate în interiorul grupului și devin avantaje, fără model de valoare.PPOPatru modele (strategie, referință, recompensă, valoare)GRPOFără model de valoarePrompt xStrategia (modelul de limbaj)Un răspuns yModel de recompensă− β · KL față de referințăModel de valoare (critic)V(s) pentru fiecare tokenAvantaje cu GAEși actualizare cu decuparePrompt xStrategia (modelul de limbaj)G răspunsuri la același promptG recompensede la model sau reguliNormalizare în grupÂᵢ = (rᵢ − medie) / abatereActualizare cu decupareși penalizare KL în pierdere
Un pas de antrenare în cele două metode. GRPO înlocuiește modelul de valoare cu o comparație între răspunsurile la același prompt.

Pentru fiecare prompt xx, strategia generează un grup de GG răspunsuri y1,…,yGy_1, \ldots, y_G, care primesc recompensele r1,…,rGr_1, \ldots, r_G. Avantajul fiecărui răspuns este recompensa răspunsului, normalizată în interiorul grupului.

Pentru curioșiAvantajul în GRPO
A^i=ri−mean⁡(r1,…,rG)std⁡(r1,…,rG)\hat{A}_i = \frac{r_i - \operatorname{mean}(r_1, \ldots, r_G)}{\operatorname{std}(r_1, \ldots, r_G)}

Același avantaj se folosește pentru toate tokenurile răspunsului ii.

Un răspuns mai bun decât media grupului devine mai probabil, iar unul mai slab devine mai puțin probabil. Media grupului joacă rolul liniei de bază din REINFORCE, fără să fie nevoie de un critic învățat.

Obiectivul păstrează decuparea din PPO. Penalizarea KL față de modelul de referință nu mai este scăzută din recompensă, ci adăugată direct în funcția de pierdere, cu o estimare a divergenței calculată pentru fiecare token.

Pentru curioșiEstimarea divergenței KL
DKL=πref(yt∣⋅)πθ(yt∣⋅)−log⁡πref(yt∣⋅)πθ(yt∣⋅)−1\mathbb{D}_{\text{KL}} = \frac{\pi_{\text{ref}}(y_t \mid \cdot)}{\pi_\theta(y_t \mid \cdot)} - \log \frac{\pi_{\text{ref}}(y_t \mid \cdot)}{\pi_\theta(y_t \mid \cdot)} - 1

Codul de mai jos calculează avantajele pentru un grup de șase răspunsuri, dintre care două corecte, și arată efectul decupării asupra obiectivului pentru un token.

import numpy as np
# Recompensele pentru G = 6 răspunsuri la același prompt: 1 dacă rezultatul final este corect.
rewards = np.array([1.0, 0.0, 0.0, 1.0, 0.0, 0.0])
advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-8)
print("Avantaje:", np.round(advantages, 2))
same = np.array([1.0, 1.0, 1.0, 1.0, 1.0, 1.0])
print("Toate corecte:", np.round((same - same.mean()) / (same.std() + 1e-8), 2))
def clipped_objective(ratio, advantage, epsilon=0.2):
# Obiectivul PPO pentru un token, în funcție de raportul π_θ / π_vechi.
return min(ratio * advantage, np.clip(ratio, 1 - epsilon, 1 + epsilon) * advantage)
for ratio in [0.5, 0.9, 1.0, 1.1, 1.5]:
print(f"raport {ratio:.1f}: avantaj +1 -> {clipped_objective(ratio, 1.0):5.2f}, "
f"avantaj -1 -> {clipped_objective(ratio, -1.0):5.2f}")

Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).

Când toate răspunsurile din grup primesc aceeași recompensă, toate avantajele sunt zero și grupul nu contribuie la învățare. De aceea, problemele folosite la antrenare nu trebuie să fie nici prea ușoare, nici prea grele pentru modelul curent. În valorile afișate pentru obiectiv, cele cu avantaj pozitiv se opresc la 1,2: odată ce un token a devenit cu 20% mai probabil, nu se mai câștigă nimic dacă probabilitatea tokenului crește în continuare.

Pentru matematică, programare sau logică, răspunsul poate fi verificat automat. Rezultatul final se compară cu cel corect, iar codul este rulat pe teste. Recompensa nu mai vine de la un model care imită preferințe, ci de la o regulă, deci este mult mai greu de exploatat. Abordarea a fost numită învățare prin consolidare cu recompense verificabile (reinforcement learning with verifiable rewards, RLVR) în lucrarea despre modelele Tülu 3, în 2024.

Modelul DeepSeek-R1, publicat în ianuarie 2025, a fost antrenat cu GRPO. Pentru problemele de raționament, recompensele erau bazate pe reguli, una pentru corectitudinea răspunsului și una pentru format. Varianta DeepSeek-R1-Zero a primit această antrenare direct după preantrenare, fără ajustare fină pe exemple. Autorii raportează că, pe parcursul antrenării, răspunsurile au devenit mai lungi și au început să conțină pași de verificare și de corectare, deși nicio recompensă nu cerea explicit acest lucru. Multe dintre modelele apărute de atunci, care scriu un raționament înainte de răspunsul final, folosesc metode asemănătoare. Pagina despre raționamentul în modelele de limbaj explică ce înseamnă acest raționament și de ce ne dă impresia că modelul gândește.

Învățarea prin consolidare este costisitoare, deoarece modelul trebuie să genereze răspunsuri în timpul antrenării, iar procesul este sensibil la hiperparametri. DPO (direct preference optimization), propus în 2023 de Rafailov și colaboratorii, folosește aceleași perechi de răspunsuri preferate și respinse ca RLHF, dar optimizează modelul direct pe aceste perechi, cu o funcție de pierdere obișnuită, fără model de recompensă separat și fără generare în timpul antrenării. Modelul SmolLM2 din demo-ul de pe pagina despre LLM-uri a fost aliniat cu DPO.