Învățare prin consolidare pentru LLM-uri
Un model preantrenat continuă texte, iar ajustarea fină pe exemple îl învață formatul unei conversații. Etapa următoare folosește învățarea prin consolidare: modelul generează răspunsuri, acestea primesc un scor, iar modelul este ajustat spre răspunsurile cu scor mare. Așa poate învăța și comportamente pentru care nu există exemple scrise de oameni, ci doar o metodă de a le evalua.
Pornim de la noțiunile de strategie de decizie (policy), recompensă și avantaj și de la formula gradientului strategiei, explicate pe pagina despre gradientul strategiei și REINFORCE.
Modelul de limbaj ca strategie de decizie
Secțiune intitulată „Modelul de limbaj ca strategie de decizie”Corespondența cu termenii învățării prin consolidare este directă.
- Strategia (policy) este modelul de limbaj .
- Starea este promptul , împreună cu tokenurile generate până atunci.
- Acțiunea este următorul token, ales din vocabular.
- Episodul este un răspuns complet , de la primul token până la tokenul de final.
- Recompensa se primește de obicei o singură dată, la finalul răspunsului.
Recompensa poate veni de la un model de recompensă (reward model), antrenat să imite preferințele oamenilor, sau de la un program care verifică răspunsul, de exemplu rezultatul unei probleme de matematică sau trecerea unor teste pentru cod.
Modelul de recompensă și RLHF
Secțiune intitulată „Modelul de recompensă și RLHF”În metoda RLHF (reinforcement learning from human feedback), descrisă de Christiano și colaboratorii în 2017 și folosită de OpenAI în 2022 pentru InstructGPT, evaluatori umani compară câte două răspunsuri la același prompt și îl aleg pe cel mai bun. Pe aceste comparații se antrenează un model de recompensă , de obicei tot un model de limbaj, cu un strat final care dă un singur număr. Modelul învață să dea răspunsului preferat un scor mai mare decât celui respins.
Pentru curioșiPierderea modelului de recompensă
unde este răspunsul preferat, cel respins, iar este funcția sigmoidă. Pierderea este mică atunci când răspunsul preferat primește un scor clar mai mare.
Apoi, modelul de recompensă ține locul evaluatorilor și poate nota milioane de răspunsuri, mult mai multe decât ar putea evalua oamenii de mână.
PPO (proximal policy optimization) a fost propus în 2017 de Schulman și colaboratorii, la OpenAI, și a fost metoda folosită pentru InstructGPT. Pornește de la gradientul strategiei (policy gradient), dar limitează cât se poate schimba strategia la o actualizare.
Pentru fiecare token al unui răspuns se calculează raportul dintre probabilitatea tokenului sub noua strategie și sub cea care a generat răspunsul. Obiectivul PPO face mai probabile tokenurile cu avantaj pozitiv și mai puțin probabile pe cele cu avantaj negativ, dar, printr-o decupare (clipping), nu mai răsplătește schimbarea după ce raportul s-a îndepărtat de 1 cu mai mult de o marjă mică, de obicei 0,2.
Pentru curioșiFuncția obiectiv PPO
Raportul se scrie astfel.
Obiectivul cu decupare are forma următoare.
unde este avantajul estimat, iar este de obicei 0,2. Dacă un token are avantaj pozitiv, obiectivul crește odată cu probabilitatea tokenului, dar numai până când raportul ajunge la . Peste această limită, gradientul devine zero, deci nu se mai câștigă nimic dacă strategia este împinsă mai departe. Pentru avantaje negative, limita este .
Datorită decupării, fiecare lot de răspunsuri poate fi folosit pentru mai mulți pași de actualizare fără ca strategia să se degradeze.
Avantajele vin de la un model de valoare (value model), numit și critic, care estimează pentru fiecare token recompensa așteptată de acolo până la final. PPO le calculează de obicei cu metoda GAE (generalized advantage estimation), propusă tot de Schulman și colaboratorii. Criticul este un al doilea model care trebuie antrenat, de obicei de aceeași mărime cu modelul principal (strategia).
GRPO (group relative policy optimization) a fost propus în 2024 de Shao și colaboratorii, la DeepSeek, pentru modelul DeepSeekMath. Renunță la modelul de valoare și estimează avantajele altfel, comparând mai multe răspunsuri la același prompt.
Pentru fiecare prompt , strategia generează un grup de răspunsuri , care primesc recompensele . Avantajul fiecărui răspuns este recompensa răspunsului, normalizată în interiorul grupului.
Pentru curioșiAvantajul în GRPO
Același avantaj se folosește pentru toate tokenurile răspunsului .
Un răspuns mai bun decât media grupului devine mai probabil, iar unul mai slab devine mai puțin probabil. Media grupului joacă rolul liniei de bază din REINFORCE, fără să fie nevoie de un critic învățat.
Obiectivul păstrează decuparea din PPO. Penalizarea KL față de modelul de referință nu mai este scăzută din recompensă, ci adăugată direct în funcția de pierdere, cu o estimare a divergenței calculată pentru fiecare token.
Pentru curioșiEstimarea divergenței KL
Codul de mai jos calculează avantajele pentru un grup de șase răspunsuri, dintre care două corecte, și arată efectul decupării asupra obiectivului pentru un token.
import numpy as np
# Recompensele pentru G = 6 răspunsuri la același prompt: 1 dacă rezultatul final este corect.rewards = np.array([1.0, 0.0, 0.0, 1.0, 0.0, 0.0])advantages = (rewards - rewards.mean()) / (rewards.std() + 1e-8)print("Avantaje:", np.round(advantages, 2))
same = np.array([1.0, 1.0, 1.0, 1.0, 1.0, 1.0])print("Toate corecte:", np.round((same - same.mean()) / (same.std() + 1e-8), 2))
def clipped_objective(ratio, advantage, epsilon=0.2): # Obiectivul PPO pentru un token, în funcție de raportul π_θ / π_vechi. return min(ratio * advantage, np.clip(ratio, 1 - epsilon, 1 + epsilon) * advantage)
for ratio in [0.5, 0.9, 1.0, 1.1, 1.5]: print(f"raport {ratio:.1f}: avantaj +1 -> {clipped_objective(ratio, 1.0):5.2f}, " f"avantaj -1 -> {clipped_objective(ratio, -1.0):5.2f}")Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Când toate răspunsurile din grup primesc aceeași recompensă, toate avantajele sunt zero și grupul nu contribuie la învățare. De aceea, problemele folosite la antrenare nu trebuie să fie nici prea ușoare, nici prea grele pentru modelul curent. În valorile afișate pentru obiectiv, cele cu avantaj pozitiv se opresc la 1,2: odată ce un token a devenit cu 20% mai probabil, nu se mai câștigă nimic dacă probabilitatea tokenului crește în continuare.
Recompense verificabile și raționament
Secțiune intitulată „Recompense verificabile și raționament”Pentru matematică, programare sau logică, răspunsul poate fi verificat automat. Rezultatul final se compară cu cel corect, iar codul este rulat pe teste. Recompensa nu mai vine de la un model care imită preferințe, ci de la o regulă, deci este mult mai greu de exploatat. Abordarea a fost numită învățare prin consolidare cu recompense verificabile (reinforcement learning with verifiable rewards, RLVR) în lucrarea despre modelele Tülu 3, în 2024.
Modelul DeepSeek-R1, publicat în ianuarie 2025, a fost antrenat cu GRPO. Pentru problemele de raționament, recompensele erau bazate pe reguli, una pentru corectitudinea răspunsului și una pentru format. Varianta DeepSeek-R1-Zero a primit această antrenare direct după preantrenare, fără ajustare fină pe exemple. Autorii raportează că, pe parcursul antrenării, răspunsurile au devenit mai lungi și au început să conțină pași de verificare și de corectare, deși nicio recompensă nu cerea explicit acest lucru. Multe dintre modelele apărute de atunci, care scriu un raționament înainte de răspunsul final, folosesc metode asemănătoare. Pagina despre raționamentul în modelele de limbaj explică ce înseamnă acest raționament și de ce ne dă impresia că modelul gândește.
Alternative fără consolidare
Secțiune intitulată „Alternative fără consolidare”Învățarea prin consolidare este costisitoare, deoarece modelul trebuie să genereze răspunsuri în timpul antrenării, iar procesul este sensibil la hiperparametri. DPO (direct preference optimization), propus în 2023 de Rafailov și colaboratorii, folosește aceleași perechi de răspunsuri preferate și respinse ca RLHF, dar optimizează modelul direct pe aceste perechi, cu o funcție de pierdere obișnuită, fără model de recompensă separat și fără generare în timpul antrenării. Modelul SmolLM2 din demo-ul de pe pagina despre LLM-uri a fost aliniat cu DPO.
Bibliografie
Secțiune intitulată „Bibliografie”- Ben Allal, L. et al. (2025). SmolLM2: When Smol Goes Big – Data-Centric Training of a Small Language Model. Preprint arXiv:2502.02737.
- Christiano, P. et al. (2017). Deep reinforcement learning from human preferences. NeurIPS 2017. ↩︎
- DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. Preprint arXiv:2501.12948. ↩︎
- Lambert, N. et al. (2024). Tulu 3: Pushing Frontiers in Open Language Model Post-Training. Preprint arXiv:2411.15124. ↩︎
- Ouyang, L. et al. (2022). Training language models to follow instructions with human feedback. NeurIPS 2022. ↩︎
- Rafailov, R. et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS 2023. ↩︎
- Schulman, J. et al. (2016). High-Dimensional Continuous Control Using Generalized Advantage Estimation. ICLR 2016. ↩︎
- Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. Preprint arXiv:1707.06347. ↩︎
- Shao, Z. et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. Preprint arXiv:2402.03300. ↩︎
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.