Salt la conținut

Modele de limbaj mari (LLM)

ÎncepătorLectură: 6 min

Când scriem un mesaj pe telefon, tastatura propune deasupra literelor cuvântul care ar putea urma. Un model de limbaj mare (large language model, LLM) face, în esență, același lucru, la o scară mult mai mare. Primește un text, estimează cum continuă cel mai probabil și adaugă o bucată. Repetând pasul acesta de sute de ori, scrie un răspuns întreg. Sisteme precum ChatGPT, Gemini, Grok sau Claude sunt construite în jurul unor astfel de modele.

În spatele acestor modele se află o rețea neuronală antrenată să prezică și să genereze text coerent. Detaliile interne ale sistemelor comerciale nu sunt, de obicei, publice, dar principiile de bază sunt aceleași pentru toată familia de modele Transformer.

Cuvântul „mare” se referă la dimensiune: cele mai mari modele au sute de miliarde de parametri, antrenați pe cantități uriașe de text și cod. De exemplu, GPT-3 (lansat de OpenAI în 2020) avea 175 de miliarde de parametri, iar Llama 3.1 (Meta, 2024) are și o variantă cu 405 miliarde.

Un model de limbaj (language model) răspunde, la fiecare pas, la o singură întrebare: cât de probabilă este fiecare continuare posibilă a textului de până acum? Pentru începutul „Capitala Franței este”, un model bine antrenat dă o probabilitate mare continuării „Paris” și una aproape nulă continuării „banană”. Sarcina aceasta se numește predicția următorului token (next-token prediction). Tot ce face un LLM, de la rezumate la cod, pornește de la această sarcină.

Pentru curioșiFormula

Textul este împărțit în bucăți numite tokenuri, x1,x2,…,xnx_1, x_2, \ldots, x_n. Cu regula lanțului, probabilitatea întregii secvențe se scrie ca un produs de probabilități condiționate.

P(x1,…,xn)=∏t=1nP(xt∣x1,…,xt−1)P(x_1, \ldots, x_n) = \prod_{t=1}^{n} P(x_t \mid x_1, \ldots, x_{t-1})

Fiecare factor este probabilitatea ca tokenul xtx_t să apară după tokenurile anterioare. Un LLM aproximează aceste probabilități: pornind de la contextul primit, calculează o distribuție peste întregul vocabular.

Modelele nu lucrează direct cu litere sau cu cuvinte întregi, ci cu tokenuri (tokens), adică secvențe de caractere dintr-un vocabular fixat dinainte. Tokenizarea (tokenization) este pasul care împarte textul în astfel de bucăți. Cuvintele foarte frecvente devin adesea un singur token, iar cele rare sau compuse se împart în mai multe.

De exemplu, tokenizatorul modelului SmolLM2, un model mic dezvoltat de Hugging Face, are un vocabular de 49.152 de tokenuri. Propoziția „Neural networks learn from data.” este împărțită în 7 tokenuri (␣ marchează spațiul de la începutul unui token).

Ne ural ␣networks ␣learn ␣from ␣data .

Fiecare token are un număr de identificare unic (ID). În interiorul rețelei, fiecare ID este transformat într-un vector dens de numere reale, numit reprezentare vectorială (embedding).

Generarea este un proces autoregresiv: modelul produce câte un token pe rând, iar fiecare token nou depinde de cele de dinainte. La fiecare pas, modelul citește tot textul de până atunci (numit context) și calculează un scor pentru fiecare token din vocabular. Funcția softmax transformă aceste scoruri în probabilități. Din această distribuție se alege următorul token, care se adaugă la context, iar procesul se repetă până când apare un token special de oprire sau se atinge numărul maxim de tokenuri permis.

Un pas de generare a textuluiContextul „The capital of Romania is” intră în model. Modelul calculează probabilitățile următorului token: „the” 42,8%, „Buch” 17,2%, „located” 4,9%, „called” 2,3%. Tokenul ales, „the”, se adaugă la context și pasul se repetă.ContextThe capital ofRomania isModelde limbajUrmătorul token„the”42,8%„Buch”17,2%„located”4,9%„called”2,3%Tokenul ales „the”se adaugă la context
Un pas de generare cu SmolLM2 135M, modelul din demo-ul de mai jos, pentru contextul „The capital of Romania is”. Tokenurile încep cu un spațiu, omis aici. Pasul se repetă pentru fiecare token nou.

Diagrama de mai sus arată probabilitățile calculate de modelul din demo. Pentru începutul de propoziție „Capitala României este”, modelul îi dă continuării corecte doar 5%. Asta arată că, fără suficient text în română la preantrenare, predicțiile devin nesigure.

Alegerea tokenului depinde direct de temperatură (temperature), un hiperparametru care stabilește cât de des se abate modelul de la varianta cea mai probabilă. La temperaturi mici, modelul alege aproape mereu cele mai probabile tokenuri, iar textul devine previzibil. La temperaturi mari, și tokenurile mai puțin probabile au o șansă reală, iar textul devine mai variat și mai surprinzător. Cazul limită, în care alegem mereu tokenul cu probabilitatea cea mai mare, se numește decodare greedy (greedy decoding).

Pentru curioșiFormula temperaturii

Temperatura scalează scorurile nenormalizate înainte de softmax.

pi=exp⁡(zi/T)∑jexp⁡(zj/T)p_i = \frac{\exp(z_i / T)}{\sum_{j} \exp(z_j / T)}

unde ziz_i este scorul nenormalizat al tokenului ii (numit logit), iar TT este temperatura. Când T→0T \to 0, aproape toată probabilitatea se adună pe tokenul cu scorul cel mai mare. Când TT crește, distribuția se apropie de una uniformă.

Arhitectura standard pentru LLM-uri este Transformer, introdusă în 2017 în articolul „Attention Is All You Need”. Modelele generative de azi folosesc varianta doar cu decodor (decoder-only): o stivă adâncă de blocuri cu aceeași structură, fiecare format din atenție cauzală și o rețea feed-forward. Mecanismul de atenție (attention) îi permite fiecărei poziții să adune informație din pozițiile anterioare. Paginile Avem nevoie doar de atenție? și Arhitectura Transformer explică pe larg cum funcționează.

Un asistent conversațional se construiește de obicei în trei etape. Prima produce modelul preantrenat, iar celelalte două îl transformă în asistent.

  1. Preantrenarea (pretraining): modelul este antrenat pe cantități uriașe de text de pe web, cărți și cod sursă. La fiecare poziție din text încearcă să ghicească tokenul următor, iar ponderile modelului sunt ajustate astfel încât continuarea care apare efectiv în text să primească o probabilitate tot mai mare. Etapa este auto-supervizată (self-supervised): textul însuși oferă semnalul de învățare, fără etichete puse de oameni.

    Pentru curioșiFuncția de pierdere

    La preantrenare, modelul minimizează entropia încrucișată (cross-entropy).

    L=−∑t=1nlog⁡P(xt∣x1,…,xt−1)L = -\sum_{t=1}^{n} \log P(x_t \mid x_1, \ldots, x_{t-1})

    Pierderea scade pe măsură ce modelul dă probabilități tot mai mari continuărilor care apar efectiv în text.

  2. Ajustarea fină supervizată (supervised fine-tuning, SFT): modelul preantrenat știe să continue un text, dar nu este încă un asistent care urmează instrucțiuni. Prin SFT pe exemple de dialoguri, modelul învață cum arată o conversație și cum să urmeze instrucțiunile din prompt.

  3. Alinierea cu preferințele umane (alignment): se compară mai multe variante de răspuns, iar comportamentul modelului este ajustat spre cele preferate, cu tehnici precum RLHF (reinforcement learning from human feedback) sau DPO (direct preference optimization). Ambele sunt explicate pe pagina despre învățarea prin consolidare pentru LLM-uri.