Salt la conținut

Raționamentul în modelele de limbaj

IntermediarLectură: 13 min

Unii asistenți conversaționali afișează, înainte de răspuns, un mesaj de tipul „Gândește…” și abia după câteva secunde sau minute răspund. Dacă ne uităm la textul generat în acest timp, găsim ceva ce seamănă izbitor cu un monolog interior: „Hmm, stai puțin. Am numărat de două ori același caz. Să reiau.” Este greu să nu avem impresia că modelul chiar gândește.

Pagina explică ce se întâmplă de fapt. Pornim de la o observație simplă despre calculul dintr-un model de limbaj, trecem prin lanțul de gânduri cerut prin prompt, apoi prin modelele antrenate să raționeze cu învățare prin consolidare și prin sistemele agentice care împart gândirea în mai mulți pași. La final, ne întoarcem la întrebarea de la început: de unde vine impresia de gândire și cât de mult putem avea încredere în această impresie.

Trei niveluri la care un model de limbaj poate „gândi”În stânga, răspunsul direct: promptul trece prin cele L straturi ale modelului și iese răspunsul, cu un calcul fix pentru fiecare token. În mijloc, modelul de raționament: după prompt, modelul scrie tokenuri de gândire în context, face verificări și reveniri, iar ce a scris devine intrare pentru pașii următori, până la răspunsul final. În dreapta, sistemul agentic: sarcina este împărțită într-un plan, modelul apelează instrumente, citește rezultatele și revine la plan, de câte ori este nevoie, până la răspunsul final.Răspuns directUn apel, fără ciornăModel de raționamentUn apel, cu o ciornă lungăSistem agenticMulte apeluri și instrumentePromptModelul: L straturi,calcul fix pe tokenRăspunsulPromptTokenuri de gândire,scrise în contextVerificări, reveniri,variante noiRăspunsul finalSarcinaPlan împărțitîn pașiApel de instrumentRezultatul(observație)Răspunsul final
De la stânga la dreapta, crește calculul folosit pentru un singur răspuns. În mijloc, „gândirea” este text scris în context. În dreapta, gândirea se întinde pe mai multe apeluri ale modelului și pe rezultatele instrumentelor.

În contextul modelelor de limbaj, raționamentul (reasoning) se referă la textul intermediar pe care modelul îl generează înainte de răspunsul final: calcule parțiale, ipoteze, verificări, reveniri asupra unor pași greșiți. Tokenurile din această parte se numesc adesea tokenuri de gândire (thinking tokens), iar un model de raționament (reasoning model) este un model antrenat special să producă un astfel de text, de obicei lung, înainte să răspundă.

Pentru model, aceste tokenuri nu sunt cu nimic speciale. Sunt generate exact ca orice alt text, câte unul pe rând, prin predicția următorului token. Diferența ține de ce conțin și de felul în care harnașamentul le tratează. De obicei, tokenurile de gândire sunt marcate cu tokenuri speciale, de exemplu <think> și </think>, iar interfața le ascunde, le afișează separat sau arată doar un rezumat.

Ca să înțelegem de ce ajută tokenurile intermediare, observăm că, într-un model de limbaj, calculul se poate face în două direcții.

  • Pe verticală, în interiorul unui token. Pentru fiecare token nou, informația trece o singură dată prin toate cele LL blocuri ale arhitecturii Transformer. Numărul de operații este fix, aproximativ 2N2N operații pentru un model cu NN parametri, oricât de grea ar fi întrebarea.
  • Pe orizontală, de la un token la altul. Fiecare token generat intră în context și devine intrare pentru toate tokenurile următoare. Un rezultat intermediar scris în text poate fi citit și folosit mai târziu, ca pe o ciornă.

Dacă o problemă cere mai mulți pași de calcul care depind unul de altul decât încap în cele LL straturi, modelul nu o poate rezolva corect într-un singur token. Poate, în schimb, să scrie pașii unul după altul. Costul computațional al unui răspuns crește atunci liniar cu numărul de tokenuri generate, aproximativ 2N⋅T2N \cdot T pentru TT tokenuri. Un răspuns de 10 tokenuri și unul de 5.000 de tokenuri primesc cantități de calcul foarte diferite, chiar dacă vin de la același model.

Ideea de ciornă (scratchpad) a fost testată de Nye și colaboratorii în 2021: modele antrenate să scrie pașii intermediari ai unei adunări sau ai execuției unui program obțineau rezultate mult mai bune decât cele antrenate să dea direct rezultatul. Mai târziu, Merrill și Sabharwal (2023) au arătat și teoretic că un Transformer care poate genera pași intermediari rezolvă clase de probleme pe care același Transformer, obligat să răspundă imediat, nu le poate rezolva.

Primele rezultate au venit fără nicio antrenare nouă, doar din felul în care era scris promptul. Wei și colaboratorii (Google, 2022) au pus în prompt câteva exemple de probleme rezolvate pas cu pas, iar modelul a continuat în același stil și pentru problema nouă. Tehnica a fost numită lanț de gânduri (chain of thought, CoT).

Kojima și colaboratorii au arătat, în același an, că nici exemplele nu sunt neapărat necesare. Este suficient să adăugăm la finalul promptului propoziția „Let’s think step by step” („Să gândim pas cu pas”). Cu modelul InstructGPT (text-davinci-002), acuratețea pe setul de probleme de aritmetică MultiArith a crescut astfel de la 17,7% la 78,7%.

Întrebare: Câte numere de la 1 la 100 se împart exact la 3 sau la 5?
Răspuns direct: 53
Răspuns pas cu pas: Numere care se împart la 3: 33.
Numere care se împart la 5: 20.
Cele care se împart la 15 au fost numărate de două ori: 6.
Total: 33 + 20 − 6 = 47.

Exemplul arată de ce ajută pașii scriși. Răspunsul direct pare plauzibil, dar sare peste cazul numărat de două ori. Scrise în context, rezultatele parțiale devin vizibile și pentru model, care le poate combina corect la final.

Generarea textului are o parte aleatoare, controlată de temperatură, așa că două lanțuri de gânduri pentru aceeași întrebare pot ajunge la răspunsuri diferite. Wang și colaboratorii (2022) au propus metoda numită autoconsecvență (self-consistency): generăm mai multe lanțuri independente și păstrăm răspunsul final care apare cel mai des.

Metoda funcționează pentru că greșelile tind să fie diferite de la un lanț la altul, pe când drumurile corecte ajung la același rezultat. Codul de mai jos simulează un model care găsește răspunsul corect într-un singur lanț cu probabilitatea 0,4, iar greșelile modelului se împart între cinci răspunsuri greșite.

import numpy as np
rng = np.random.default_rng(0)
WRONG = [41, 43, 24, 48, 420]
def sample_answer():
# Un lanț de gânduri ajunge la 42 cu probabilitatea 0,4. Altfel, greșește într-unul din cinci feluri.
if rng.random() < 0.4:
return 42
return int(rng.choice(WRONG))
def majority_vote(k):
answers = [sample_answer() for _ in range(k)]
values, counts = np.unique(answers, return_counts=True)
return values[np.argmax(counts)]
for k in [1, 5, 15, 41]:
accuracy = np.mean([majority_vote(k) == 42 for _ in range(1000)])
print(f"Lanțuri: {k:2d}, răspuns corect în {accuracy:.0%} din cazuri")

Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).

Cu un singur lanț, răspunsul este corect în aproximativ 40% din cazuri. Cu câteva zeci de lanțuri, aproape întotdeauna. Prețul este calculul: 41 de lanțuri costă de 41 de ori mai mult decât unul. Dacă însă modelul greșește mai des într-un anumit fel decât nimerește răspunsul corect, votul majoritar întărește greșeala.

Lanțul de gânduri cerut prin prompt depinde de ce a văzut modelul în datele de antrenare. Pasul următor a fost să antrenăm modelul chiar pentru a raționa.

O primă metodă a fost STaR (Self-Taught Reasoner), propusă de Zelikman și colaboratorii în 2022. Modelul generează raționamente pentru multe probleme, se păstrează doar cele care ajung la răspunsul corect, iar modelul este ajustat fin pe aceste raționamente. Ciclul se repetă, iar modelul învață din propriile raționamente reușite.

În septembrie 2024, OpenAI a prezentat modelul o1, întâi în versiunea o1-preview, antrenat prin învățare prin consolidare să scrie un lanț lung de gânduri înainte de răspuns. OpenAI a raportat că rezultatele cresc atât cu calculul folosit la antrenare, cât și cu timpul lăsat modelului să „gândească” la inferență. Lanțul complet de gânduri nu este arătat utilizatorilor. Interfața afișează doar un rezumat.

Detaliile unei astfel de antrenări au devenit publice în ianuarie 2025, odată cu DeepSeek-R1. Rețeta de bază este cea descrisă pe pagina despre recompense verificabile.

  1. Modelul primește o problemă de matematică sau de programare și un șablon care îi cere să scrie raționamentul între <think> și </think>, apoi răspunsul.
  2. Pentru fiecare problemă se generează un grup de răspunsuri complete.
  3. Un program verifică doar rezultatul final și formatul, nu și pașii. Nimeni nu notează calitatea raționamentului.
  4. Cu GRPO, răspunsurile mai bune decât media grupului devin mai probabile, cu tot raționamentul care le-a precedat.

Rezultatul este interesant tocmai pentru că nicio recompensă nu cerea un anumit stil de gândire. La varianta DeepSeek-R1-Zero, autorii au observat că lungimea răspunsurilor a crescut constant pe parcursul antrenării, de la câteva sute la mii de tokenuri. Au apărut, fără să fie cerute, verificări ale rezultatelor, încercări de rezolvare pe altă cale și reveniri marcate de cuvinte precum „Wait”. Pe problemele din concursul AIME 2024, acuratețea a crescut de la 15,6% la 71,0%, iar cu votul majoritar peste mai multe răspunsuri a ajuns la 86,7%.

Explicația nu are nimic misterios. Modelul preantrenat a văzut deja pe internet milioane de rezolvări, demonstrații și explicații scrise de oameni, inclusiv momente de tipul „stai, aici am greșit”. Învățarea prin consolidare nu inventează aceste tipare, ci le face mai probabile pe cele care duc, statistic, la răspunsuri corecte. Verificarea propriilor pași este un astfel de tipar.

Un astfel de raționament poate fi transferat și unor modele mai mici. DeepSeek a generat cu R1 aproximativ 800.000 de exemple și a ajustat fin pe aceste exemple modele mai mici, din familiile Qwen și Llama, metodă numită distilare (distillation). Modelele distilate au învățat să scrie raționamente asemănătoare fără nicio etapă de învățare prin consolidare.

Dacă rezultatele cresc cu numărul de tokenuri de gândire, apare o întrebare practică: cât de mult îl lăsăm pe model să gândească? Acest calcul suplimentar, cheltuit la răspuns și nu la antrenare, se numește calcul la inferență (test-time compute). Snell și colaboratorii (2024) au arătat că, pentru unele probleme, un model mai mic care primește mai mult calcul la inferență poate întrece un model de 14 ori mai mare care răspunde direct, la același număr total de operații (FLOPs).

Calculul suplimentar poate fi folosit în două feluri.

  • În serie: un singur lanț de gânduri, mai lung. Modelul își verifică și își reia pașii în același text.
  • În paralel: mai multe lanțuri independente, din care alegem răspunsul prin vot majoritar sau cu ajutorul unui verificator. O variantă mai elaborată este căutarea în arbore, cu un model care notează fiecare pas intermediar.

Lucrarea s1 (Muennighoff și colaboratorii, 2025) arată cât de direct poate fi controlat bugetul în serie. Autorii au ajustat fin un model pe doar 1.000 de exemple de raționament, apoi au folosit o metodă numită forțarea bugetului (budget forcing). Când modelul voia să încheie raționamentul prea devreme, harnașamentul ștergea tokenul de final și adăuga cuvântul „Wait”. Modelul continua să gândească, își verifica deseori răspunsul și, uneori, îl corecta. Când raționamentul devenea prea lung, harnașamentul îl oprea și cerea direct răspunsul.

Interfețele de programare ale furnizorilor expun același control, sub forma unui număr maxim de tokenuri de gândire sau a unui nivel de efort (scăzut, mediu, ridicat). Mai mult nu înseamnă însă întotdeauna mai bine. Chen și colaboratorii (2024) au descris fenomenul de gândire excesivă (overthinking): modelele de raționament generau de multe ori mai multe tokenuri decât modelele obișnuite pentru întrebări foarte simple, precum „Cât face 2 + 3?”, și își verificau răspunsul de mai multe ori fără niciun câștig.

Până aici, tot raționamentul avea loc într-un singur apel al modelului. Un sistem agentic poate întinde gândirea pe mai multe apeluri, intercalând-o cu acțiuni în lumea exterioară.

Metoda ReAct (Yao și colaboratorii, 2022), pe care se sprijină harnașamentul agenților de azi, alternează trei tipuri de pași: un gând scris în text, o acțiune (un apel de instrument) și o observație, adică rezultatul acțiunii, pus înapoi în context. Diferența față de un lanț de gânduri obișnuit este că o parte dintre pași nu mai sunt deduși de model, ci aflați: conținutul unui fișier, rezultatul unui test, o valoare dintr-o bază de date.

Peste această alternanță de gânduri, acțiuni și observații, harnașamentul poate construi procese care, privite din afară, seamănă foarte mult cu o deliberare.

  • Planificare: modelul scrie mai întâi un plan, iar harnașamentul îl împarte în sarcini care sunt rezolvate una câte una sau în paralel.
  • Verificare externă: rezultatul este verificat de un program (teste, compilator) sau de o altă instanță a modelului, cu instrucțiuni de critic.
  • Reflecție: în metoda Reflexion (Shinn și colaboratorii, 2023), după o încercare eșuată modelul scrie în cuvinte ce a greșit, iar textul este păstrat în memorie și pus în context la încercarea următoare.
  • Un instrument pentru gânduri: Anthropic a descris un instrument „think” care nu face nimic, doar primește textul unui gând. Simpla existență a instrumentului îi dă modelului un loc explicit în care să se oprească și să analizeze rezultatele primite, între două apeluri de instrumente.

În aceste sisteme, „gândirea” nu mai este un singur text continuu, ci este distribuită în planuri, fișiere de notițe, rezultate de teste și mesaje între mai multe instanțe ale modelului. Pagina despre Sistemul 1 și Sistemul 2 discută de ce un astfel de proces seamănă cu gândirea lentă și deliberată descrisă de Daniel Kahneman.

Acum putem răspunde la întrebarea de la început. Impresia că modelul gândește are mai multe surse, și nu toate sunt de același fel.

  1. Textul seamănă cu gândirea umană pentru că a fost învățat de la oameni. Expresii precum „hmm”, „stai” sau „să verific” vin din textele scrise de oameni care rezolvau probleme. Învățarea prin consolidare le-a păstrat pentru că, statistic, însoțesc răspunsuri corecte.
  2. Calculul suplimentar este real. Tokenurile de gândire nu sunt decor. Fiecare token de gândire înseamnă încă o trecere completă prin rețea, iar rezultatele intermediare scrise în context sunt folosite efectiv mai departe. Pe problemele de matematică și de programare, diferența de acuratețe se măsoară ușor.
  3. Interfața întărește impresia. Mesajul „Gândește…”, durata afișată și rezumatul gândurilor sunt alegeri de prezentare. Același proces ar putea fi afișat la fel de bine ca „Se generează 4.000 de tokenuri intermediare”.
  4. Comportamentul agentic arată ca o activitate. Un agent care își face un plan, citește fișiere, rulează teste și își schimbă abordarea după o eroare se comportă, din afară, ca un om care lucrează la o problemă.

Faptul că raționamentul ajută nu înseamnă că descrie exact cum a ajuns modelul la răspuns. Calitatea aceasta se numește fidelitatea raționamentului (faithfulness), iar mai multe studii arată că fidelitatea nu este garantată.

  • Turpin și colaboratorii (2023) au pus în prompt exemple în care răspunsul corect era mereu varianta „(A)”. Modelele au început să aleagă mai des „(A)” și la întrebări noi, dar în explicațiile pas cu pas aproape niciodată nu menționau acest tipar (una singură din cele 426 analizate). Explicațiile justificau convingător un răspuns ales, de fapt, din alt motiv.
  • Chen și colaboratorii (Anthropic, 2025) au strecurat în prompt indicii despre răspuns și au verificat dacă modelele de raționament care foloseau indiciul îl și pomeneau în lanțul de gânduri. În majoritatea cazurilor, nu îl pomeneau.
  • Pfau și colaboratorii (2024) au antrenat modele care rezolvau anumite probleme la fel de bine când, în locul pașilor intermediari, scriau doar puncte („……”). Pe acele sarcini, tokenurile suplimentare aduceau calcul, iar sensul cuvintelor nu mai conta.

Cercetarea în interpretabilitate (interpretability), care încearcă să citească direct ce se întâmplă în interiorul rețelei, completează imaginea. Echipa Anthropic a studiat modelul Claude 3.5 Haiku în lucrarea On the Biology of a Large Language Model (2025). La întrebarea „Care este capitala statului în care se află Dallas?”, modelul reprezenta intern „Texas” ca pas intermediar înainte de „Austin”, deci făcea un raționament în doi pași chiar în interiorul unui singur token. La adunarea 36 + 59, modelul folosea în paralel două căi, una care aproxima rezultatul și una care calcula exact ultima cifră. Întrebat cum a calculat, modelul descria însă algoritmul învățat la școală, cu „unu ținut minte”. Explicația modelului era una plauzibilă, preluată din texte scrise de oameni, nu o descriere a propriului mecanism.

Cele două tabere ale discuției pot invoca fiecare argumente serioase. Lucrarea The Illusion of Thinking (Shojaee și colaboratorii, Apple, 2025) a testat modele de raționament pe puzzle-uri de dificultate controlată, precum Turnurile din Hanoi. Peste un anumit prag de complexitate, acuratețea scădea brusc aproape de zero, iar modelele foloseau chiar mai puține tokenuri de gândire, deși mai aveau buget. Alți cercetători au răspuns că o parte dintre eșecuri veneau din limita de lungime a răspunsului și din câteva instanțe fără soluție, nu dintr-o incapacitate de a raționa.

Ce putem spune cu siguranță este mai modest decât oricare dintre titluri.

  • Modelele de raționament fac un calcul suplimentar real, care le îmbunătățește măsurabil rezultatele pe probleme cu pași multipli.
  • Textul acestui calcul este o fereastră utilă, dar imperfectă, spre ce face modelul. Poate omite motive reale și poate oferi justificări construite după aceea.
  • Dacă acest proces merită numit „gândire” depinde de ce înțelegem prin cuvânt. Dacă ne interesează funcția (explorarea variantelor, verificarea pașilor, corectarea greșelilor), multe dintre aceste elemente sunt prezente. Dacă ne referim la experiența conștientă a unui om care gândește, nimic din ce știm despre aceste modele nu ne dă motive să credem că o astfel de experiență există.

Pentru cine construiește sisteme cu modele de limbaj, concluzia practică este simplă: raționamentul crește șansele unui răspuns corect, dar nu îl garantează. Pentru deciziile importante avem în continuare nevoie de verificări externe, precum teste, surse citate sau un om care citește rezultatul. Pagina despre halucinații discută mai pe larg aceste metode.