Salt la conținut

Un model de limbaj de la zero

IntermediarLectură: 6 min

Paginile despre modelele de limbaj mari și despre arhitectura Transformer explică, în teorie, cum funcționează un astfel de model. În acest laborator construim unul de la zero, pornind de la un director gol și ajungând până la un model care scrie povești la cerere. La final, modelul este aliniat cu o recompensă scrisă în cod, întâi prin DPO, apoi prin învățare prin consolidare, cu GRPO.

Modelul se numește mvGPT (Minimum Viable GPT) și este o implementare minimală, dar complet funcțională, a unui model de tip GPT. Are 14,6 milioane de parametri (de aproximativ 12.000 de ori mai puțini decât GPT-3), iar preantrenarea durează circa zece minute pe un laptop modern. Codul, scris în Python și PyTorch, este împărțit în fișiere mici, câte unul sau două pentru fiecare etapă, pe care le explicăm integral pe parcursul laboratorului.

Conversația de mai jos rulează SmolLM2 135M, un model de același tip, dezvoltat de Hugging Face în 2024. Are 135 de milioane de parametri, de circa nouă ori mai mulți decât mvGPT, și a fost preantrenat pe 2.000 de miliarde de tokenuri, mai ales în limba engleză. Varianta din conversație a trecut apoi printr-o ajustare fină pentru dialog și a fost aliniată cu DPO. Sunt aceleași etape pe care le parcurgem în laborator, preantrenarea, ajustarea fină supervizată și alinierea, la o scară mult mai mare.

Conversație cu SmolLM2 135M

Modelul are aproximativ 135 de milioane de parametri și rulează integral în browser, fără server. Descărcarea are circa 170 MB, se face de pe acest site și doar la cerere. După prima încărcare, fișierele rămân salvate în browser, dacă acesta are spațiu suficient.

Modelul a fost antrenat pe texte în limba engleză și răspunde în engleză, chiar și la mesajele scrise în română. Un model atât de mic greșește des: inventează fapte, se repetă și pierde ușor firul. Răspunsurile nu sunt verificate și nu trebuie tratate ca informații corecte.

SmolLM2-135M-Instruct este un model publicat de Hugging Face sub licența Apache 2.0, distribuit aici în forma convertită de onnx-community.

Modelul răspunde în engleză și are limitele firești ale unui model atât de mic. Arată însă că inferența unui model de limbaj poate rula eficient, în întregime local. Modelul mvGPT, antrenat doar pe povești scurte și simple, va fi mult mai limitat, dar funcționează pe același principiu: prezice, token cu token, cum continuă textul.

Codul complet se află pe GitHub, în repozitoriul inteligentArtificiala-ro/laborator-lm-de-la-zero. Comentariile din cod sunt minimale, pentru că explicațiile sunt pe paginile laboratorului. Laboratorul are și o serie video proprie, în limba română, în care codul fiecărei etape este scris pas cu pas.

Laboratorul a pornit de la primele trei episoade ale seriei video Minimum Viable GPT, în limba engleză, care construiește același model.

Un proiect asemănător, dar mai amplu, este nanochat, scris de Andrej Karpathy. Cu un cod minimal, ușor de citit și de modificat, nanochat parcurge tot drumul până la un asistent conversațional: tokenizatorul, preantrenarea, ajustarea fină supervizată, învățarea prin consolidare, evaluarea și o interfață de chat. Este gândit în principal pentru un server cu 8 plăci grafice H100. Pe un laptop se poate antrena doar o variantă mult mai mică.

  1. Datele și tokenizarea prezintă setul de date TinyStories, un tokenizator la nivel de cuvânt și felul în care poveștile devin șiruri de numere.
  2. Atenția, scrisă de mână calculează atenția cauzală pas cu pas, verifică rezultatul cu PyTorch și construiește stratul de atenție cu șase capete al modelului.
  3. Modelul GPT construiește, clasă cu clasă, un Transformer doar cu decodor și îi numără parametrii.
  4. Preantrenarea explică predicția următorului token, loturile de antrenare, optimizatorul AdamW, rata de învățare și procesul de antrenare.
  5. Generarea textului arată eșantionarea autoregresivă, cu temperatură și filtrare top-k, și locul în care privește atenția modelului antrenat.
  6. Ajustarea fină supervizată învață modelul să urmeze instrucțiuni (SFT).
  7. Recompensa și DPO scrie o recompensă în cod, construiește perechi de povești preferate și respinse și aliniază modelul prin optimizarea directă a preferințelor (DPO).
  8. Învățare prin consolidare cu GRPO lasă modelul să învețe din propriile povești: modelul scrie grupuri de povești, primește recompense și este ajustat spre poveștile mai bune decât media grupului.
  • Python 3.10 sau mai nou.
  • Spațiu pe disc: circa 1 GB pentru datele descărcate (circa 210 MB de text), fișierele cu tokenuri și modelele salvate pe parcurs (checkpoints).
  • Hardware: codul alege singur cel mai rapid dispozitiv disponibil.
    • O placă grafică NVIDIA cu CUDA (varianta recomandată și cea mai rapidă).
    • Un cip Apple Silicon (M1 sau mai nou), prin MPS.
    • Procesorul obișnuit (CPU), mai lent, dar suficient pentru a parcurge toți pașii.
  • Timp estimat: câteva minute pentru pregătirea datelor, plus 10 minute pentru preantrenare, 10 minute pentru ajustarea fină, circa 12 minute pentru perechile de preferințe (pe un cip Apple Silicon), 2 minute pentru DPO și 10 minute pentru GRPO. Preantrenarea, ajustarea fină, DPO și GRPO au un buget fix de timp, așa că pe un calculator mai lent fac doar mai puțini pași. Perechile de preferințe nu au un buget de timp: pe procesor pot cere câteva ore, iar numărul perechilor se poate micșora din linia de comandă, cum arată pagina despre DPO.

Pentru a urmări codul, sunt suficiente cunoștințele de bază de Python. Rețelele neuronale și mecanismul de atenție sunt explicate în secțiunile teoretice ale documentației.

Puteți clona tot repozitoriul cu Git sau puteți descărca fișierele unul câte unul, cu curl.

Terminal window
git clone https://github.com/inteligentArtificiala-ro/laborator-lm-de-la-zero.git
cd laborator-lm-de-la-zero
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Tot laboratorul se reduce la câteva comenzi, explicate pe paginile următoare.

Terminal window
python data.py # datele, vocabularul și fișierele cu tokenuri
python attention.py # atenția scrisă de mână, comparată cu PyTorch
python model.py # numărul de parametri și pierderea de la început
python pretrain.py 10 # preantrenare timp de 10 minute
python sample.py checkpoints/pretrain/model.pt "Once upon a time"
python attention_map.py checkpoints/pretrain/model.pt
python sft.py 10 # ajustare fină supervizată timp de 10 minute
python sample.py checkpoints/sft/model.pt "Words: rain, cake, jump Story:"
python reward.py checkpoints/pretrain/model.pt checkpoints/sft/model.pt
python preferences.py # perechile de preferințe, scrise de modelul ajustat
python dpo.py 2 # DPO timp de 2 minute
python grpo.py 10 # GRPO timp de 10 minute
python reward.py checkpoints/sft/model.pt checkpoints/dpo/model.pt checkpoints/grpo/model.pt
tensorboard --logdir runs # graficele preantrenării și ale ajustării fine

Laboratorul poate rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser, fără nicio instalare pe calculatorul propriu. Notebookul laboratorului, care se deschide în Colab cu butonul de la începutul paginii, descarcă fișierele de mai sus și rulează, în ordine, aceleași comenzi, cu graficele din TensorBoard afișate direct în notebook. Preantrenarea, ajustarea fină și GRPO durează tot câte 10 minute, iar DPO, 2 minute. Pe o placă grafică, notebookul scrie aceleași 550 de perechi de preferințe ca pe pagina despre DPO. Pe procesor scrie doar 40, ca rularea să nu dureze ore, deci DPO învață mult mai puțin. Fișierele create se șterg la sfârșitul sesiunii Colab.

Fiecare etapă a laboratorului are un episod în seria video a proiectului, în limba română, pe canalul YouTube InteligentArtificiala.ro. În episoade, codul este scris pas cu pas, iar rulările sunt arătate cu tot cu rezultate, aceleași ca pe paginile laboratorului. Fiecare pas din videouri are o etichetă git în repozitoriul laboratorului, de exemplu ep006/step-1, așa că, într-un repozitoriu clonat, comanda git checkout ep006/step-1 aduce codul exact în starea din acel moment al episodului. Episoadele publicate, cu capitolele, transcrierea și legăturile către codul fiecărui pas, se află pe pagina Videouri.

Seria Minimum Viable GPT, de la care a pornit laboratorul, continuă în limba engleză cu alinierea aceluiași model prin DPO și PPO. Metodele de aliniere sunt descrise pe pagina despre învățarea prin consolidare pentru LLM-uri.