Laboratoare practice
Paginile teoretice explică ideile. În laboratoare, aceleași idei devin cod care rulează pe propriul calculator. Fiecare laborator explică pas cu pas codul, scris în Python și PyTorch, și se încheie cu un rezultat pe care îl putem verifica: o rețea care recunoaște cifre scrise de mână, un robot simulat care aleargă, un model care scrie povești, un model care răspunde la întrebări sau imagini și sunete generate din text.
Toate laboratoarele folosesc Python 3.10 sau mai nou, cu pachetele instalate într-un mediu virtual creat cu venv. Rulează pe o placă grafică NVIDIA (CUDA), pe un cip Apple Silicon (MPS) sau, mai lent, pe procesor (CPU). Excepție face laboratorul cu PPO, unde rețeaua este atât de mică încât procesorul este cel mai rapid. Pagina despre utilitatea plăcilor grafice explică de ce diferența de viteză este atât de mare.
Toate laboratoarele pot rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser. Fiecare laborator are un singur notebook, cu tot codul laboratorului, păstrat în repozitoriul site-ului, care se deschide în Colab din pagina de introducere a laboratorului, cu butonul Deschidere în Google Colab.
În laboratoarele de antrenare, exemplele scurte rulează direct în pagină, cu Python în browser (WebAssembly), fără nicio instalare. Antrenarea propriu-zisă rulează local, iar paginile arată rezultatele de referință, ca să le putem compara cu ce obținem pe propriul calculator. Codul acestor laboratoare este public, în organizația proiectului de pe GitHub, și poate fi clonat cu Git sau descărcat fișier cu fișier.
Primul laborator, despre rețelele neuronale construite de la zero, este punctul de pornire potrivit pentru începători. Al doilea, cu robotul care învață să alerge, este cel mai avansat și presupune paginile despre învățarea prin consolidare. Laboratoarele cu Transformers și cu modele de difuzie se pot parcurge fără cunoștințe despre rețele neuronale.
Rețele neuronale de la zero
Secțiune intitulată „Rețele neuronale de la zero”Scriem de la zero, în Python, tot ce se află sub o rețea neuronală. Pornim de la un sistem de diferențiere automată (automatic differentiation) pentru numere obișnuite, în spiritul proiectului micrograd al lui Andrej Karpathy, și desenăm cu Graphviz grafurile computaționale pe care le parcurge retropropagarea, înainte și după calculul gradienților. Din aceleași piese construim neuroni, straturi și o rețea cu mai multe straturi, pe care o antrenăm cu cod scris de mână. La final, trecem de la numere la matrice: cu NumPy, scriem de mână retropropagarea unei rețele care recunoaște cifrele scrise de mână din setul MNIST, apoi scriem aceeași rețea în PyTorch.
- Nivel: începător.
- Cerințe: orice procesor obișnuit, fără placă grafică, și programul
dotdin Graphviz pentru diagrame. Antrenarea pe MNIST durează câteva secunde. - Înainte de laborator: paginile despre rețelele neuronale și despre retropropagare.
- Google Colab: un notebook pentru tot laboratorul.
Laboratorul începe cu prezentarea laboratorului și pregătirea mediului de lucru.
Control continuu cu PPO în MuJoCo
Secțiune intitulată „Control continuu cu PPO în MuJoCo”Robotul HalfCheetah, un robot bidimensional inspirat de ghepard, cu 6 articulații acționate, învață de la zero să alerge în simulatorul fizic MuJoCo. Articulațiile primesc valori continue, nu comenzi dintr-o listă finită, așa că problema este una de control continuu (continuous control). Agentul este antrenat cu PPO (Proximal Policy Optimization), implementat în PyTorch, cu o rețea actor-critic, o strategie gaussiană și estimarea generalizată a avantajului (GAE). Laboratorul se încheie cu evaluarea strategiei antrenate și cu un videoclip al robotului care aleargă.
- Nivel: avansat.
- Cerințe: un procesor cu 4–8 nuclee. O antrenare completă, de 1 milion de pași, durează câteva minute pe procesor (circa 7 minute pe un calculator cu cip Apple Silicon).
- Înainte de laborator: paginile despre învățarea prin consolidare și despre gradientul strategiei și REINFORCE.
- Cod sursă: repozitoriul inteligentArtificiala-ro/control-continuu-ppo.
- Google Colab: un notebook pentru tot laboratorul.
Laboratorul începe cu prezentarea robotului și a simulatorului.
Un model de limbaj de la zero
Secțiune intitulată „Un model de limbaj de la zero”Construim și antrenăm de la zero mvGPT (Minimum Viable GPT), un model de tip GPT cu 14,6 milioane de parametri. Codul, scris în Python și PyTorch, trece prin pregătirea datelor din setul TinyStories, tokenizare, mecanismul de atenție, preantrenare, generarea textului și ajustarea fină supervizată (supervised fine-tuning, SFT). La final, modelul este aliniat cu o recompensă scrisă în cod, prin optimizarea directă a preferințelor (direct preference optimization, DPO) și prin învățare prin consolidare, cu GRPO. Laboratorul are propria serie video, în limba română, și a pornit de la primele trei episoade ale seriei Minimum Viable GPT, în limba engleză. Un proiect asemănător, mai amplu, este nanochat, scris de Andrej Karpathy.
- Nivel: intermediar.
- Cerințe: circa 1 GB de spațiu pe disc. Preantrenarea, ajustarea fină și GRPO durează câte 10 minute pe un laptop modern, iar perechile de preferințe pentru DPO, circa 12 minute.
- Înainte de laborator: paginile despre rețelele neuronale și despre mecanismul de atenție, iar pentru ultimele două etape, pagina despre învățarea prin consolidare pentru LLM-uri.
- Cod sursă: repozitoriul inteligentArtificiala-ro/laborator-lm-de-la-zero.
- Google Colab: un notebook pentru tot laboratorul.
Laboratorul începe cu prezentarea modelului și pregătirea mediului de lucru.
Un model de limbaj local cu Transformers
Secțiune intitulată „Un model de limbaj local cu Transformers”Descărcăm de pe Hugging Face Hub un model de limbaj cu ponderi deschise (open weights) și îl rulăm în Python, cu librăriile Transformers și PyTorch. Laboratorul pornește de la funcția pipeline, care pune un model în funcțiune în câteva linii de cod. Apoi refacem de mână pașii pe care această funcție îi ascunde: tokenizarea, șablonul de chat și generarea. Ultimele pagini arată de câtă memorie are nevoie un model, cum îl micșorăm prin cuantizare (quantization) și cum rulăm local un model de raționament.
- Nivel: începător.
- Cerințe: un calculator cu cel puțin 8 GB de memorie RAM și între 700 MB și 4 GB de spațiu pe disc pentru modele.
- Înainte de laborator: pagina despre modelele de limbaj mari.
- Google Colab: un notebook pentru tot laboratorul.
Laboratorul începe cu instalarea și primul model.
Imagini și sunete cu modele de difuzie
Secțiune intitulată „Imagini și sunete cu modele de difuzie”Generăm imagini și sunete cu modele de difuzie cu ponderi deschise, în Python, cu librăria Diffusers a companiei Hugging Face și cu Transformers. Laboratorul pornește de la un pipeline care generează o imagine dintr-o descriere în câteva linii de cod. Apoi scriem de mână procesul de difuzie, pe un model care generează pisici, și desfacem Stable Diffusion în componente: codificatorul de text, U-Net-ul, autoencoderul VAE și ghidarea fără clasificator (classifier-free guidance). Ultima pagină generează sunete dintr-o descriere, cu AudioLDM 2, și arată spectrograma mel din care vocoderul face sunetul.
- Nivel: începător.
- Cerințe: o placă grafică NVIDIA cu cel puțin 8 GB de memorie sau un cip Apple Silicon și aproximativ 8 GB de spațiu pe disc pentru modele.
- Înainte de laborator: pagina despre modelele de difuzie.
- Google Colab: un notebook pentru tot laboratorul.
Laboratorul începe cu instalarea și prima imagine.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.