Halucinațiile în modelele de limbaj
Asistenții conversaționali și modelele de limbaj mari dau adesea răspunsuri bine scrise, clare și formulate pe un ton sigur, care conțin totuși greșeli grave: biografii inventate, studii științifice care nu există, articole de lege inexistente sau calcule greșite, justificate cu multă convingere. Fenomenul se numește halucinație (hallucination) sau, cu un termen din neuropsihologie mai apropiat de ce observăm, confabulație (confabulation).
Termenul este o metaforă care îi atribuie modelului o trăsătură umană. Modelul nu are conștiință și nici o percepție a realității pe care să o deformeze. La nivel fizic, este un sistem statistic care calculează distribuții de probabilitate peste secvențe de tokenuri.
Cercetătorul Andrej Karpathy a observat că modelele de limbaj sunt, prin chiar felul în care sunt construite, „mașini de visat” (dream machines). Halucinația nu este un defect de fabricație și nici o problemă de hardware. Este felul firesc în care funcționează orice model autoregresiv lăsat fără constrângeri. Când modelul spune lucruri adevărate despre lume, o face pentru că distribuția statistică a modelului este ținută strâns în frâu de datele de antrenare, de context și de algoritmii care îi ghidează generarea.
Definiție
Secțiune intitulată „Definiție”În inteligența artificială generativă, o halucinație este un text sau alt conținut generat care este fals, nu are sprijin în contextul primit sau se contrazice singur, dar este bine formulat și prezentat cu aparentă siguranță.
Ca să înțelegem de unde vine fenomenul, putem compara două spații diferite.
- Spațiul verosimilității lingvistice () măsoară cât de natural, de fluent și de potrivit sună un enunț, după regulile gramaticale și asocierile statistice învățate din limba naturală.
- Spațiul adevărului factual () arată dacă evenimentul, data sau relația descrisă corespunde realității sau documentelor verificate.
Un model de limbaj este optimizat doar pentru primul spațiu: alege tokenurile care au o probabilitate mare să urmeze. Dacă o afirmație falsă este bine construită și folosește vocabularul tipic al unui domeniu de specialitate, modelul îi va da un scor mare, indiferent dacă este adevărată sau nu.
Tipuri de halucinații
Secțiune intitulată „Tipuri de halucinații”În cercetarea despre procesarea limbajului natural, halucinațiile sunt împărțite în mai multe categorii, după cauză și după felul în care se manifestă.
| Tip de halucinație | Denumire în engleză | Descriere | Exemplu tipic |
|---|---|---|---|
| Halucinație factuală (extrinsecă) | factual / extrinsic hallucination | Afirmații care contrazic realitatea sau inventează lucruri care nu există | Un premiu Nobel inexistent atribuit unei persoane reale sau un studiu științific inventat |
| Halucinație de fidelitate (intrinsecă) | faithfulness / intrinsic hallucination | Afirmații care contrazic direct documentul sau contextul din prompt | În rezumatul unui contract, modelul scrie că termenul este de 30 de zile, deși documentul prevede 90 de zile |
| Halucinație de raționament | reasoning hallucination | Pași logici greșiți sau deducții matematice eronate, ascunse în explicații pas cu pas | Afirmația că 15 este număr prim sau teoreme false strecurate într-o demonstrație |
| Complacere | sycophancy | Modelul confirmă presupunerile greșite ale utilizatorului, ca să păstreze un ton cooperant | Utilizatorul întreabă „De ce a scris Eminescu romanul Enigma Otiliei?”, iar modelul explică motivele fără să corecteze greșeala de autor |
Diferența dintre halucinațiile factuale și cele de fidelitate contează mult când construim aplicații. Halucinațiile factuale pot fi reduse mult dacă adăugăm documentele potrivite în context. Halucinațiile de fidelitate apar însă chiar și atunci când informația corectă se află în fața modelului, ceea ce arată limitele auto-atenției pe contexte lungi.
De ce halucinează modelele de limbaj
Secțiune intitulată „De ce halucinează modelele de limbaj”Halucinațiile nu sunt simple „scăpări de memorie”, ci vin direct din matematica pe care se sprijină arhitectura Transformer și din felul în care sunt adunate și prelucrate datele.
1. Obiectivul de predicție a următorului token
Secțiune intitulată „1. Obiectivul de predicție a următorului token”La preantrenare, modelul este antrenat să minimizeze entropia încrucișată (cross-entropy).
Pentru curioșiEntropia încrucișată
unde este tokenul curent, iar sunt tokenurile anterioare.
Cu alte cuvinte, modelul învață să facă textul cât mai probabil. Pierderea scade dacă, după cuvintele „Doctorul a prescris un tratament cu…”, modelul prezice un termen medical plauzibil. Modelul nu este recompensat pentru că ar verifica, într-o bază de date farmacologică, dacă substanța se potrivește bolii, ci doar pentru că alege un termen care apare des în contexte asemănătoare.
2. Comprimarea cu pierderi a cunoștințelor în memoria parametrică
Secțiune intitulată „2. Comprimarea cu pierderi a cunoștințelor în memoria parametrică”Seturile uriașe de date folosite la antrenare (mii de miliarde de tokenuri din cărți, articole și pagini web) ocupă zeci de terabytes pe disc. Matricele de ponderi ale modelului sunt mult mai mici, de ordinul a câteva zeci sau sute de gigabytes.
Antrenarea face, așadar, o comprimare cu pierderi (lossy compression). Scriitorul Ted Chiang a comparat ChatGPT cu un „JPEG neclar al internetului”, într-un eseu publicat în 2023 în The New Yorker.
O imagine JPEG comprimată păstrează formele mari și culorile generale, dar pierde detaliile fine. La fel, un model de limbaj reține conceptele, asocierile de idei și tiparele gramaticale, dar pierde precizia la cifre, la ani exacți sau la legăturile unice dintre entități. Când trebuie să reconstituie un detaliu mărunt, modelul „interpolează” probabilistic între punctele pe care le cunoaște și generează detalii inventate, dar perfect potrivite ca stil.
3. Efectul de avalanșă în generarea autoregresivă
Secțiune intitulată „3. Efectul de avalanșă în generarea autoregresivă”Textul este generat pas cu pas, câte un token pe rând. La fiecare pas, modelul extrage următorul token din distribuția de probabilitate pe care a calculat-o, iar temperatura de eșantionare stabilește cât de des alege și variante mai puțin probabile.
Pentru curioșiEșantionarea unui token
unde este vectorul de scoruri nenormalizate (logits), iar este temperatura de eșantionare.
Să presupunem că, la un pas , modelul alege un token greșit, de exemplu un an greșit pentru un eveniment istoric. Cauza poate fi o temperatură mai mare decât zero sau pur și simplu incertitudinea statistică a modelului. Tokenul ales intră imediat în fereastra de context.
La pașii următori, , auto-atenția cauzală calculează fiecare token nou pe baza tuturor tokenurilor de dinainte, inclusiv a celui greșit. Ca textul să rămână coerent, modelul nu semnalează greșeala, ci adaugă în continuare detalii imaginare care susțin afirmația greșită de la început. Această acumulare a erorilor (error accumulation) explică de ce o mică abatere de la adevăr la începutul unui paragraf se transformă repede într-o poveste inventată cap-coadă.
4. Date contradictorii și distribuția cu coadă lungă
Secțiune intitulată „4. Date contradictorii și distribuția cu coadă lungă”Textele adunate de pe internet conțin foarte multe mituri, parodii, opinii contradictorii și informații depășite. Dacă o idee greșită este repetată de mii de ori pe bloguri și forumuri, modelul îi va da o probabilitate mai mare decât unui adevăr științific menționat într-un singur articol academic.
În plus, faptele din coada lungă a distribuției (long-tail), de exemplu numele primarului unei comune mici sau data lansării unui produs de nișă, apar de foarte puține ori în datele de antrenare. Reprezentările vectoriale ale acestor entități sunt instabile și difuze, așa că modelul le confundă foarte ușor.
5. Presiunea ajustării fine și lipsa unui „nu știu”
Secțiune intitulată „5. Presiunea ajustării fine și lipsa unui „nu știu””La ajustarea fină supervizată (SFT), modelele sunt antrenate pe exemple de conversații scrise de adnotatori umani. În majoritatea acestor seturi de date, răspunsul ideal este complet, direct și politicos.
Modelele sunt rareori antrenate să refuze sau să spună simplu „Nu știu, datele mele nu conțin această informație”. De aceea, asistentul este împins să dea mereu un răspuns complet, chiar și atunci când certitudinea internă a modelului este foarte mică.
Riscuri și impact în aplicațiile reale
Secțiune intitulată „Riscuri și impact în aplicațiile reale”Măsurarea și evaluarea halucinațiilor
Secțiune intitulată „Măsurarea și evaluarea halucinațiilor”Ca să evalueze și să compare modelele, cercetătorii măsoară exactitatea factuală cu metode cantitative.
Metoda faptelor atomice și FactScore
Secțiune intitulată „Metoda faptelor atomice și FactScore”O metodă este să împărțim textul generat în afirmații simple, numite fapte atomice (atomic facts). De exemplu, propoziția de mai jos se descompune în patru fapte.
„Mihai Eminescu a fost un poet român născut la Botoșani în 1850.”
Cele patru fapte atomice sunt următoarele.
- Mihai Eminescu a fost poet.
- Mihai Eminescu a fost de naționalitate română.
- Mihai Eminescu s-a născut la Botoșani.
- Mihai Eminescu s-a născut în anul 1850.
Fiecare fapt este verificat separat, într-o sursă de încredere, precum Wikipedia sau un graf de cunoștințe. Scorul FactScore este procentul de fapte confirmate ca adevărate din totalul afirmațiilor generate.
Un LLM ca arbitru (LLM-as-a-judge)
Secțiune intitulată „Un LLM ca arbitru (LLM-as-a-judge)”În sarcinile mai dificile de rezumare și căutare, un LLM este folosit ca arbitru. Primește documentul sursă și textul generat de un alt model, analizează fiecare propoziție și semnalează contradicțiile, extrapolările nejustificate sau detaliile adăugate din memorie.
Benchmarkuri standardizate
Secțiune intitulată „Benchmarkuri standardizate”- TruthfulQA este un set de 817 întrebări din 38 de domenii (sănătate, finanțe, conspirații, istorie), construit special ca să verifice dacă modelele repetă mituri populare sau dau răspunsuri adevărate.
- HaluEval este o colecție de 35.000 de perechi de texte adnotate, folosită pentru a măsura cât de bine recunosc și evită sistemele halucinațiile în răspunsuri la întrebări, dialoguri și rezumate.
- RAGAS / ARES sunt cadre automate de evaluare pentru sistemele RAG. Aceste cadre măsoară două lucruri: fidelitatea față de context (faithfulness) și cât de relevant este răspunsul pentru întrebarea inițială.
Metode de reducere și prevenire
Secțiune intitulată „Metode de reducere și prevenire”Într-un model pur probabilistic, eliminarea completă a halucinațiilor rămâne, teoretic, o problemă nerezolvată. În practică, riscul poate fi redus mult, cu mai multe niveluri de protecție.
Niveluri de protecție împotriva halucinațiilor┌─────────────────────────────────────────────────────────────────────────────┐│ 1. Ancorare în date externe: RAG și baze de date vectoriale │├─────────────────────────────────────────────────────────────────────────────┤│ 2. Instrumente deterministe: calculatoare, rularea codului Python, baze SQL │├─────────────────────────────────────────────────────────────────────────────┤│ 3. Raționament cu verificare: tokenuri de reflecție și autocorecție │├─────────────────────────────────────────────────────────────────────────────┤│ 4. Ingineria promptului: restricții clare și permisiunea de a spune „nu” │├─────────────────────────────────────────────────────────────────────────────┤│ 5. Controlul decodării: temperatură scăzută (T → 0) și filtrare top-k │└─────────────────────────────────────────────────────────────────────────────┘1. Generarea augmentată prin regăsire (RAG)
Secțiune intitulată „1. Generarea augmentată prin regăsire (RAG)”În practică, cea mai eficientă metodă este să mutăm sarcina din memoria parametrică a modelului în memoria de lucru. Cu generarea augmentată prin regăsire (RAG), sistemul caută mai întâi documentele relevante într-o bază de date și le pune direct în promptul trimis modelului.
Răspunsul este astfel condiționat de fragmentele regăsite. Modelului îi rămâne doar să sintetizeze și să formuleze, nu să scoată datele din ponderi comprimate.
2. Apelul de instrumente deterministe
Secțiune intitulată „2. Apelul de instrumente deterministe”Modelele de limbaj nu sunt făcute pentru calcule aritmetice precise sau pentru interogări structurate. Prin apelul de instrumente (tool calling), modelul trimite o cerere structurată către un mediu exterior, de exemplu un interpretor Python, un calculator de precizie sau o bază de date relațională.
Rezultatul exact se întoarce în context, așa că modelul nu mai trebuie să aproximeze probabilistic calculele.
3. Raționament la inferență și autocorecție
Secțiune intitulată „3. Raționament la inferență și autocorecție”Modelele recente de raționament folosesc mai mult calcul în momentul generării (la inferență). În loc să răspundă imediat cu primul token care pare potrivit, modelul generează întâi un lanț intern de gândire.
În această etapă internă, modelul explorează mai multe ipoteze, verifică dacă fiecare pas se leagă logic de cel dinainte, caută contradicții și revine asupra unei decizii dacă o deducție se dovedește falsă. Procesul seamănă cu felul în care un expert uman își reverifică atent raționamentul, doar că este automat.
4. Ingineria prompturilor și permisiunea explicită de a refuza
Secțiune intitulată „4. Ingineria prompturilor și permisiunea explicită de a refuza”Felul în care sunt scrise instrucțiunile de sistem influențează direct cât de des halucinează modelul. Un prompt de sistem bine gândit conține reguli clare despre ce informații are voie modelul să folosească.
Răspunde exclusiv pe baza paragrafelor furnizate mai sus.Nu folosi cunoștințe din afara acestui context.Dacă informația necesară pentru a răspunde la întrebare nu se regăsește în text,răspunde textual: „Documentul nu conține suficiente date pentru a răspunde”.Nu încerca să deduci sau să aproximezi date care lipsesc.5. Alinierea cu recompense verificabile (RLVR)
Secțiune intitulată „5. Alinierea cu recompense verificabile (RLVR)”În programare, în matematica formală sau în jocurile de logică, corectitudinea poate fi verificată automat, cu compilatoare, teste unitare sau demonstratoare de teoreme.
Antrenarea cu recompense verificabile penalizează sever orice eroare, factuală sau de sintaxă, în timpul învățării prin consolidare. Modelul învață să prefere soluțiile sigure și demonstrabile în locul afirmațiilor spectaculoase, dar neverificate.
6. Monitorizarea entropiei și a încrederii interne
Secțiune intitulată „6. Monitorizarea entropiei și a încrederii interne”În timpul generării, sistemul care servește modelul poate urmări entropia distribuției softmax pentru fiecare token, adică cât de împrăștiată este probabilitatea între continuările posibile.
Pentru curioșiEntropia distribuției
unde este probabilitatea pe care modelul o dă tokenului din vocabularul .
O entropie mare pe tokenurile care fac parte din entități numite (nume proprii, sume, date calendaristice) arată că modelul este nehotărât și oscilează între mai multe continuări. În astfel de momente, sistemul poate interveni automat: îi semnalează utilizatorului că încrederea este scăzută, scurtează răspunsul sau trimite o interogare unui serviciu de căutare, pentru verificare.
Bibliografie
Secțiune intitulată „Bibliografie”- Chiang, T. (2023). ChatGPT Is a Blurry JPEG of the Web. The New Yorker.
- Es, S. et al. (2024). Ragas: Automated Evaluation of Retrieval Augmented Generation. EACL 2024.
- Farquhar, S. et al. (2024). Detecting hallucinations in large language models using semantic entropy. Nature, 630(8017), 625–630.
- Huang, L. et al. (2023). A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions. Preprint arXiv:2311.05232.
- Ji, Z. et al. (2023). Survey of Hallucination in Natural Language Generation. ACM Computing Surveys, 55(12), 1–38.
- Kalai, A. T. et al. (2025). Why Language Models Hallucinate. Preprint arXiv:2509.04664.
- Kandpal, N. et al. (2023). Large Language Models Struggle to Learn Long-Tail Knowledge. ICML 2023.
- Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
- Li, J. et al. (2023). HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models. EMNLP 2023.
- Lin, S., Hilton, J. și Evans, O. (2022). TruthfulQA: Measuring How Models Mimic Human Falsehoods. ACL 2022.
- Mata v. Avianca, Inc. (2023). Nr. 1:22-cv-01461 (PKC), Curtea Districtuală a Statelor Unite pentru Districtul de Sud al New York-ului, 22 iunie 2023.
- Maynez, J. et al. (2020). On Faithfulness and Factuality in Abstractive Summarization. ACL 2020.
- Min, S. et al. (2023). FActScore: Fine-grained Atomic Evaluation of Factual Precision in Long Form Text Generation. EMNLP 2023.
- Saad-Falcon, J. et al. (2024). ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems. NAACL 2024.
- Sharma, M. et al. (2024). Towards Understanding Sycophancy in Language Models. ICLR 2024.
- Spracklen, J. et al. (2024). We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs. Preprint arXiv:2406.10279.
- Zhang, M. et al. (2023). How Language Model Hallucinations Can Snowball. Preprint arXiv:2305.13534.
- Zheng, L. et al. (2023). Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena. NeurIPS 2023.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.