Salt la conținut

Utilitatea plăcilor grafice (GPU)

ÎncepătorLectură: 7 min

Aproape toate modelele moderne de inteligență artificială, de la recunoașterea imaginilor până la modelele de limbaj mari (LLM), sunt antrenate și rulate pe un tip de procesor creat inițial pentru jocurile video, placa grafică (graphics processing unit, GPU). Accesul la plăci grafice a ajuns să decidă cât de mari pot fi modelele, cât costă să fie antrenate și cât de repede răspund. Pentru a înțelege de ce, trebuie să ne uităm la tipul de calcul pe care îl face o rețea neuronală.

O placă grafică a fost gândită să calculeze culoarea a milioane de pixeli de zeci de ori pe secundă. Fiecare pixel se calculează după aceleași formule, independent de vecinii săi. De aceea, o placă grafică nu are câteva nuclee foarte puternice, ca un procesor obișnuit (CPU), ci mii de nuclee simple, care aplică aceeași operație pe date diferite în același timp.

În 2007, NVIDIA a lansat CUDA, o platformă care permite programarea plăcilor grafice pentru calcule generale, nu doar pentru imagini. Cercetătorii au observat repede că rețelele neuronale au exact forma de calcul pentru care sunt construite plăcile grafice.

Un strat al unei rețele neuronale înmulțește vectorul de intrare cu o matrice de ponderi și adună un termen liber.

Pentru curioșiFormula unui strat
y=Wx+b\mathbf{y} = W\mathbf{x} + \mathbf{b}

unde x\mathbf{x} este vectorul de intrare, WW este matricea de ponderi, b\mathbf{b} este termenul liber (bias), iar y\mathbf{y} este vectorul de ieșire al stratului.

Când rețeaua prelucrează un lot de exemple deodată, vectorii devin matrice, iar operația devine o înmulțire de matrice. Fiecare element al rezultatului este o sumă de produse care nu depinde de celelalte elemente, deci toate pot fi calculate în paralel. Un model de limbaj face, pentru fiecare token, aproximativ 2P2P operații în virgulă mobilă, unde PP este numărul de parametri, așa cum arată pagina despre costul computațional. Pentru un model de 8 miliarde de parametri, asta înseamnă 16 miliarde de operații pentru un singur token.

Procesor (CPU)Placă grafică (GPU)
NucleeCâteva zeci, foarte puterniceMii, mai simple
Optimizat pentruTimp de răspuns mic la sarcini variate, cu multe ramificațiiVolum mare de operații identice pe date diferite
Lățimea de bandă a memorieiZeci până la sute de GB/sDe ordinul TB/s la plăcile pentru centre de date
Potrivit pentruSistemul de operare, logica aplicațiilor, baze de dateGrafică, simulări, antrenarea și rularea rețelelor neuronale

În 2009, Raina, Madhavan și Ng au arătat că plăcile grafice pot accelera de zeci de ori antrenarea rețelelor neuronale. Momentul decisiv a venit în 2012, când rețeaua AlexNet, construită de Alex Krizhevsky, Ilya Sutskever și Geoffrey Hinton, a câștigat competiția de recunoaștere a imaginilor ImageNet. AlexNet a fost antrenată pe două plăci grafice NVIDIA GTX 580, destinate jocurilor, și a avut o rată de eroare top-5 de 15,3%, față de 26,2% pentru locul al doilea. Rezultatul a arătat că rețelele adânci, antrenate pe multe date și pe plăci grafice, depășesc metodele clasice, iar învățarea profundă (deep learning) a devenit direcția dominantă în domeniu.

Pe măsură ce inteligența artificială a devenit principala utilizare a plăcilor grafice, plăcile au fost adaptate pentru acest tip de calcul. Din 2017, plăcile NVIDIA pentru centre de date au nuclee tensoriale (Tensor Cores), circuite dedicate înmulțirii de matrice mici într-un singur pas.

A doua schimbare ține de precizia numerelor. Calculele științifice folosesc de obicei numere pe 32 sau 64 de biți, însă rețelele neuronale tolerează bine numere mai puțin precise. Antrenarea se face astăzi frecvent pe 16 biți (formatele FP16 și BF16), iar generațiile recente de plăci pot calcula și pe 8 sau chiar 4 biți. Un număr pe 16 biți ocupă jumătate din memoria unuia pe 32 de biți, iar nucleele tensoriale procesează de câteva ori mai multe operații pe secundă la precizie redusă.

La generarea textului, un model produce câte un singur token pe pas, iar pentru fiecare token nou trebuie citite din memorie toate ponderile modelului. Pentru un utilizator singur, viteza de generare nu este limitată de numărul de operații, ci de cât de repede se pot citi ponderile, adică de lățimea de bandă a memoriei (memory bandwidth). Din acest motiv, plăcile pentru centre de date folosesc memorie HBM (high bandwidth memory), montată lângă procesorul grafic, cu o lățime de bandă de câțiva TB/s.

Codul de mai jos estimează limita superioară a vitezei de generare pentru câteva modele și dispozitive, presupunând ponderi pe 16 biți.

modele = {"SmolLM2 135M": 135e6, "Model de 8 miliarde": 8e9, "Model de 70 miliarde": 70e9}
# Lățimea de bandă a memoriei (octeți/s) și memoria disponibilă (octeți), valori aproximative.
dispozitive = {
"Procesor obișnuit, DDR5": (100e9, 32e9),
"Apple M4 Pro": (273e9, 48e9),
"NVIDIA H100": (3.35e12, 80e9),
}
octeti_per_pondere = 2 # numere pe 16 biți
for nume_model, parametri in modele.items():
memorie = parametri * octeti_per_pondere
print(f"{nume_model}, {memorie / 1e9:.1f} GB de ponderi")
for nume, (banda, capacitate) in dispozitive.items():
if memorie > capacitate:
print(f" {nume:<24} nu încape în memorie")
else:
print(f" {nume:<24} cel mult {banda / memorie:,.0f} tokenuri/s")

Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).

Estimarea ignoră calculul propriu-zis și memoria cache pentru chei și valori, deci vitezele reale sunt mai mici. Chiar și așa, estimarea arată de ce un model de 70 de miliarde de parametri nu încape pe o singură placă fără compresie și de ce aceeași placă poate genera de zeci de ori mai repede decât un procesor obișnuit. Serviciile comerciale prelucrează simultan cererile mai multor utilizatori în loturi, astfel încât o singură citire a ponderilor produce câte un token pentru fiecare cerere din lot.

Antrenarea costă aproximativ 6P6P operații pentru fiecare token din datele de antrenare. Un model de 8 miliarde de parametri, antrenat pe 15.000 de miliarde de tokenuri, ordinul de mărime folosit pentru Llama 3 8B, are nevoie de aproximativ 6⋅8⋅109⋅15⋅1012≈7,2⋅10236 \cdot 8 \cdot 10^{9} \cdot 15 \cdot 10^{12} \approx 7{,}2 \cdot 10^{23} operații. O placă NVIDIA H100 face în jur de 101510^{15} operații pe secundă pe 16 biți, iar în practică folosește cam 40% din această capacitate. Pe o singură placă, antrenarea ar dura peste 50 de ani.

De aceea, modelele mari sunt antrenate pe clustere cu mii sau zeci de mii de plăci grafice, legate prin conexiuni foarte rapide, precum NVLink și InfiniBand. Meta a raportat că cel mai mare model Llama 3, cu 405 miliarde de parametri, a fost antrenat pe până la 16.000 de plăci H100. Munca este împărțită în mai multe moduri.

  • Paralelismul datelor (data parallelism): fiecare placă primește alte exemple din lot, iar gradienții sunt adunați la final.
  • Paralelismul tensorial (tensor parallelism): matricele unui strat sunt împărțite între mai multe plăci.
  • Paralelismul pe etape (pipeline parallelism): straturile modelului sunt distribuite pe plăci diferite, ca la o linie de asamblare.

Pentru că limitează direct ce modele pot fi construite, plăcile grafice au devenit una dintre cele mai căutate resurse din industria tehnologică. Costul computațional este cheltuiala principală la antrenarea unui model mare, iar accesul la plăci grafice influențează competiția dintre companii și chiar politicile de export ale unor state.

Dominația NVIDIA vine nu doar din hardware, ci și din ecosistemul CUDA, pe care se sprijină librăriile folosite în practică, precum PyTorch. Există însă și alternative.

  • TPU (tensor processing unit): procesoarele dezvoltate de Google special pentru rețele neuronale, folosite intern din 2015 și oferite prin serviciile sale cloud.
  • Plăcile AMD Instinct: acceleratoare pentru centre de date, programate prin platforma ROCm.
  • Procesoarele Apple Silicon: cipurile din seria M au memorie unificată, partajată de procesor și de placa grafică, ceea ce permite rularea locală a unor modele relativ mari.

Nu este nevoie de un centru de date pentru a experimenta. Laboratorul de antrenare a unui model de la zero detectează automat o placă grafică NVIDIA prin CUDA sau un cip Apple Silicon prin MPS și antrenează un model de 14,6 milioane de parametri în aproximativ 10 minute. Chiar și browserul poate accesa placa grafică, prin interfața WebGPU. Demo-ul cu modelul SmolLM2 o folosește atunci când browserul o suportă.