Salt la conținut

Halucinațiile în modelele de limbaj

IntermediarLectură: 11 min

Asistenții conversaționali și modelele de limbaj mari dau adesea răspunsuri bine scrise, clare și formulate pe un ton sigur, care conțin totuși greșeli grave: biografii inventate, studii științifice care nu există, articole de lege inexistente sau calcule greșite, justificate cu multă convingere. Fenomenul se numește halucinație (hallucination) sau, cu un termen din neuropsihologie mai apropiat de ce observăm, confabulație (confabulation).

Termenul este o metaforă care îi atribuie modelului o trăsătură umană. Modelul nu are conștiință și nici o percepție a realității pe care să o deformeze. La nivel fizic, este un sistem statistic care calculează distribuții de probabilitate peste secvențe de tokenuri.

Cercetătorul Andrej Karpathy a observat că modelele de limbaj sunt, prin chiar felul în care sunt construite, „mașini de visat” (dream machines). Halucinația nu este un defect de fabricație și nici o problemă de hardware. Este felul firesc în care funcționează orice model autoregresiv lăsat fără constrângeri. Când modelul spune lucruri adevărate despre lume, o face pentru că distribuția statistică a modelului este ținută strâns în frâu de datele de antrenare, de context și de algoritmii care îi ghidează generarea.

Generare neancorată și generare ancorată în surseSus, modelul răspunde doar din ponderi, unde cunoștințele sunt comprimate. Predicția următorului token și erorile care se acumulează duc la o halucinație care sună plauzibil. Jos, RAG și instrumentele externe aduc surse, iar verificarea duce la un răspuns exact sau la recunoașterea faptului că lipsesc datele.Generare neancorată (risc de halucinații)ÎntrebarefactualăPonderi statice(comprimare difuză)Următorul token(text fluent)Avalanșa erorilor(autoregresiv)Halucinație(fals convingător)Generare ancorată (surse și verificare)ÎntrebarefactualăRAG și instrumente(surse verificate)Context activ(dovezi în prompt)Verificare(coerență logică)Răspuns exactsau „Nu știu”
Sus, modelul răspunde doar din ponderi. Jos, răspunsul se sprijină pe surse care pot fi verificate.

În inteligența artificială generativă, o halucinație este un text sau alt conținut generat care este fals, nu are sprijin în contextul primit sau se contrazice singur, dar este bine formulat și prezentat cu aparentă siguranță.

Ca să înțelegem de unde vine fenomenul, putem compara două spații diferite.

  1. Spațiul verosimilității lingvistice (P(text)P(\text{text})) măsoară cât de natural, de fluent și de potrivit sună un enunț, după regulile gramaticale și asocierile statistice învățate din limba naturală.
  2. Spațiul adevărului factual (V(afirmație)∈{0,1}V(\text{afirmație}) \in \{0, 1\}) arată dacă evenimentul, data sau relația descrisă corespunde realității sau documentelor verificate.

Un model de limbaj este optimizat doar pentru primul spațiu: alege tokenurile care au o probabilitate mare să urmeze. Dacă o afirmație falsă este bine construită și folosește vocabularul tipic al unui domeniu de specialitate, modelul îi va da un scor mare, indiferent dacă este adevărată sau nu.

În cercetarea despre procesarea limbajului natural, halucinațiile sunt împărțite în mai multe categorii, după cauză și după felul în care se manifestă.

Tip de halucinațieDenumire în englezăDescriereExemplu tipic
Halucinație factuală (extrinsecă)factual / extrinsic hallucinationAfirmații care contrazic realitatea sau inventează lucruri care nu existăUn premiu Nobel inexistent atribuit unei persoane reale sau un studiu științific inventat
Halucinație de fidelitate (intrinsecă)faithfulness / intrinsic hallucinationAfirmații care contrazic direct documentul sau contextul din promptÎn rezumatul unui contract, modelul scrie că termenul este de 30 de zile, deși documentul prevede 90 de zile
Halucinație de raționamentreasoning hallucinationPași logici greșiți sau deducții matematice eronate, ascunse în explicații pas cu pasAfirmația că 15 este număr prim sau teoreme false strecurate într-o demonstrație
ComplaceresycophancyModelul confirmă presupunerile greșite ale utilizatorului, ca să păstreze un ton cooperantUtilizatorul întreabă „De ce a scris Eminescu romanul Enigma Otiliei?”, iar modelul explică motivele fără să corecteze greșeala de autor

Diferența dintre halucinațiile factuale și cele de fidelitate contează mult când construim aplicații. Halucinațiile factuale pot fi reduse mult dacă adăugăm documentele potrivite în context. Halucinațiile de fidelitate apar însă chiar și atunci când informația corectă se află în fața modelului, ceea ce arată limitele auto-atenției pe contexte lungi.

Halucinațiile nu sunt simple „scăpări de memorie”, ci vin direct din matematica pe care se sprijină arhitectura Transformer și din felul în care sunt adunate și prelucrate datele.

La preantrenare, modelul este antrenat să minimizeze entropia încrucișată (cross-entropy).

Pentru curioșiEntropia încrucișată
L(θ)=−∑t=1nlog⁡Pθ(xt∣x1,…,xt−1)\mathcal{L}(\theta) = - \sum_{t=1}^n \log P_\theta(x_t \mid x_1, \ldots, x_{t-1})

unde xtx_t este tokenul curent, iar x1,…,xt−1x_1, \ldots, x_{t-1} sunt tokenurile anterioare.

Cu alte cuvinte, modelul învață să facă textul cât mai probabil. Pierderea scade dacă, după cuvintele „Doctorul a prescris un tratament cu…”, modelul prezice un termen medical plauzibil. Modelul nu este recompensat pentru că ar verifica, într-o bază de date farmacologică, dacă substanța se potrivește bolii, ci doar pentru că alege un termen care apare des în contexte asemănătoare.

2. Comprimarea cu pierderi a cunoștințelor în memoria parametrică

Secțiune intitulată „2. Comprimarea cu pierderi a cunoștințelor în memoria parametrică”

Seturile uriașe de date folosite la antrenare (mii de miliarde de tokenuri din cărți, articole și pagini web) ocupă zeci de terabytes pe disc. Matricele de ponderi ale modelului sunt mult mai mici, de ordinul a câteva zeci sau sute de gigabytes.

Antrenarea face, așadar, o comprimare cu pierderi (lossy compression). Scriitorul Ted Chiang a comparat ChatGPT cu un „JPEG neclar al internetului”, într-un eseu publicat în 2023 în The New Yorker.

O imagine JPEG comprimată păstrează formele mari și culorile generale, dar pierde detaliile fine. La fel, un model de limbaj reține conceptele, asocierile de idei și tiparele gramaticale, dar pierde precizia la cifre, la ani exacți sau la legăturile unice dintre entități. Când trebuie să reconstituie un detaliu mărunt, modelul „interpolează” probabilistic între punctele pe care le cunoaște și generează detalii inventate, dar perfect potrivite ca stil.

Textul este generat pas cu pas, câte un token pe rând. La fiecare pas, modelul extrage următorul token din distribuția de probabilitate pe care a calculat-o, iar temperatura de eșantionare stabilește cât de des alege și variante mai puțin probabile.

Pentru curioșiEșantionarea unui token
xt∼softmax⁡(ztT)x_t \sim \operatorname{softmax}\left(\frac{\mathbf{z}_t}{T}\right)

unde zt\mathbf{z}_t este vectorul de scoruri nenormalizate (logits), iar TT este temperatura de eșantionare.

Să presupunem că, la un pas tt, modelul alege un token greșit, de exemplu un an greșit pentru un eveniment istoric. Cauza poate fi o temperatură mai mare decât zero sau pur și simplu incertitudinea statistică a modelului. Tokenul ales intră imediat în fereastra de context.

La pașii următori, t+1,t+2,…,nt+1, t+2, \ldots, n, auto-atenția cauzală calculează fiecare token nou pe baza tuturor tokenurilor de dinainte, inclusiv a celui greșit. Ca textul să rămână coerent, modelul nu semnalează greșeala, ci adaugă în continuare detalii imaginare care susțin afirmația greșită de la început. Această acumulare a erorilor (error accumulation) explică de ce o mică abatere de la adevăr la începutul unui paragraf se transformă repede într-o poveste inventată cap-coadă.

4. Date contradictorii și distribuția cu coadă lungă

Secțiune intitulată „4. Date contradictorii și distribuția cu coadă lungă”

Textele adunate de pe internet conțin foarte multe mituri, parodii, opinii contradictorii și informații depășite. Dacă o idee greșită este repetată de mii de ori pe bloguri și forumuri, modelul îi va da o probabilitate mai mare decât unui adevăr științific menționat într-un singur articol academic.

În plus, faptele din coada lungă a distribuției (long-tail), de exemplu numele primarului unei comune mici sau data lansării unui produs de nișă, apar de foarte puține ori în datele de antrenare. Reprezentările vectoriale ale acestor entități sunt instabile și difuze, așa că modelul le confundă foarte ușor.

5. Presiunea ajustării fine și lipsa unui „nu știu”

Secțiune intitulată „5. Presiunea ajustării fine și lipsa unui „nu știu””

La ajustarea fină supervizată (SFT), modelele sunt antrenate pe exemple de conversații scrise de adnotatori umani. În majoritatea acestor seturi de date, răspunsul ideal este complet, direct și politicos.

Modelele sunt rareori antrenate să refuze sau să spună simplu „Nu știu, datele mele nu conțin această informație”. De aceea, asistentul este împins să dea mereu un răspuns complet, chiar și atunci când certitudinea internă a modelului este foarte mică.

Ca să evalueze și să compare modelele, cercetătorii măsoară exactitatea factuală cu metode cantitative.

O metodă este să împărțim textul generat în afirmații simple, numite fapte atomice (atomic facts). De exemplu, propoziția de mai jos se descompune în patru fapte.

„Mihai Eminescu a fost un poet român născut la Botoșani în 1850.”

Cele patru fapte atomice sunt următoarele.

  1. Mihai Eminescu a fost poet.
  2. Mihai Eminescu a fost de naționalitate română.
  3. Mihai Eminescu s-a născut la Botoșani.
  4. Mihai Eminescu s-a născut în anul 1850.

Fiecare fapt este verificat separat, într-o sursă de încredere, precum Wikipedia sau un graf de cunoștințe. Scorul FactScore este procentul de fapte confirmate ca adevărate din totalul afirmațiilor generate.

În sarcinile mai dificile de rezumare și căutare, un LLM este folosit ca arbitru. Primește documentul sursă și textul generat de un alt model, analizează fiecare propoziție și semnalează contradicțiile, extrapolările nejustificate sau detaliile adăugate din memorie.

  • TruthfulQA este un set de 817 întrebări din 38 de domenii (sănătate, finanțe, conspirații, istorie), construit special ca să verifice dacă modelele repetă mituri populare sau dau răspunsuri adevărate.
  • HaluEval este o colecție de 35.000 de perechi de texte adnotate, folosită pentru a măsura cât de bine recunosc și evită sistemele halucinațiile în răspunsuri la întrebări, dialoguri și rezumate.
  • RAGAS / ARES sunt cadre automate de evaluare pentru sistemele RAG. Aceste cadre măsoară două lucruri: fidelitatea față de context (faithfulness) și cât de relevant este răspunsul pentru întrebarea inițială.

Într-un model pur probabilistic, eliminarea completă a halucinațiilor rămâne, teoretic, o problemă nerezolvată. În practică, riscul poate fi redus mult, cu mai multe niveluri de protecție.

Niveluri de protecție împotriva halucinațiilor
┌─────────────────────────────────────────────────────────────────────────────┐
│ 1. Ancorare în date externe: RAG și baze de date vectoriale │
├─────────────────────────────────────────────────────────────────────────────┤
│ 2. Instrumente deterministe: calculatoare, rularea codului Python, baze SQL │
├─────────────────────────────────────────────────────────────────────────────┤
│ 3. Raționament cu verificare: tokenuri de reflecție și autocorecție │
├─────────────────────────────────────────────────────────────────────────────┤
│ 4. Ingineria promptului: restricții clare și permisiunea de a spune „nu” │
├─────────────────────────────────────────────────────────────────────────────┤
│ 5. Controlul decodării: temperatură scăzută (T → 0) și filtrare top-k │
└─────────────────────────────────────────────────────────────────────────────┘

În practică, cea mai eficientă metodă este să mutăm sarcina din memoria parametrică a modelului în memoria de lucru. Cu generarea augmentată prin regăsire (RAG), sistemul caută mai întâi documentele relevante într-o bază de date și le pune direct în promptul trimis modelului.

Răspunsul este astfel condiționat de fragmentele regăsite. Modelului îi rămâne doar să sintetizeze și să formuleze, nu să scoată datele din ponderi comprimate.

Modelele de limbaj nu sunt făcute pentru calcule aritmetice precise sau pentru interogări structurate. Prin apelul de instrumente (tool calling), modelul trimite o cerere structurată către un mediu exterior, de exemplu un interpretor Python, un calculator de precizie sau o bază de date relațională.

Rezultatul exact se întoarce în context, așa că modelul nu mai trebuie să aproximeze probabilistic calculele.

Modelele recente de raționament folosesc mai mult calcul în momentul generării (la inferență). În loc să răspundă imediat cu primul token care pare potrivit, modelul generează întâi un lanț intern de gândire.

În această etapă internă, modelul explorează mai multe ipoteze, verifică dacă fiecare pas se leagă logic de cel dinainte, caută contradicții și revine asupra unei decizii dacă o deducție se dovedește falsă. Procesul seamănă cu felul în care un expert uman își reverifică atent raționamentul, doar că este automat.

4. Ingineria prompturilor și permisiunea explicită de a refuza

Secțiune intitulată „4. Ingineria prompturilor și permisiunea explicită de a refuza”

Felul în care sunt scrise instrucțiunile de sistem influențează direct cât de des halucinează modelul. Un prompt de sistem bine gândit conține reguli clare despre ce informații are voie modelul să folosească.

Răspunde exclusiv pe baza paragrafelor furnizate mai sus.
Nu folosi cunoștințe din afara acestui context.
Dacă informația necesară pentru a răspunde la întrebare nu se regăsește în text,
răspunde textual: „Documentul nu conține suficiente date pentru a răspunde”.
Nu încerca să deduci sau să aproximezi date care lipsesc.

În programare, în matematica formală sau în jocurile de logică, corectitudinea poate fi verificată automat, cu compilatoare, teste unitare sau demonstratoare de teoreme.

Antrenarea cu recompense verificabile penalizează sever orice eroare, factuală sau de sintaxă, în timpul învățării prin consolidare. Modelul învață să prefere soluțiile sigure și demonstrabile în locul afirmațiilor spectaculoase, dar neverificate.

În timpul generării, sistemul care servește modelul poate urmări entropia distribuției softmax pentru fiecare token, adică cât de împrăștiată este probabilitatea între continuările posibile.

Pentru curioșiEntropia distribuției
H(xt)=−∑i=1∣V∣pilog⁡piH(x_t) = -\sum_{i=1}^{|V|} p_i \log p_i

unde pip_i este probabilitatea pe care modelul o dă tokenului ii din vocabularul VV.

O entropie mare pe tokenurile care fac parte din entități numite (nume proprii, sume, date calendaristice) arată că modelul este nehotărât și oscilează între mai multe continuări. În astfel de momente, sistemul poate interveni automat: îi semnalează utilizatorului că încrederea este scăzută, scurtează răspunsul sau trimite o interogare unui serviciu de căutare, pentru verificare.