Arhitectura Transformer
Pagina Avem nevoie doar de atenție? descrie Transformerul original din 2017, cu codificator și decodor, gândit pentru traducere. Aici ne uităm la arhitectura folosită azi de majoritatea modelelor de limbaj mari, Transformerul doar cu decodor (decoder-only Transformer). Componentele de bază sunt aceleași, dar aproape fiecare a fost modificată, ca modelul să calculeze mai eficient și să poată fi scalat mai ușor.
Exemplele numerice folosesc configurația publică a modelului SmolLM2 135M, cel din demo-ul de pe pagina despre LLM-uri. Familii de modele mai mari, de exemplu Llama, Qwen sau Mistral, folosesc aceleași componente, cu dimensiuni mai mari.
Privire de ansamblu
Secțiune intitulată „Privire de ansamblu”Textul trece prin model în patru etape.
- Fiecare token este înlocuit cu rândul corespunzător din matricea de reprezentări vectoriale , de dimensiune , unde este mărimea vocabularului, iar este dimensiunea modelului.
- Vectorii trec, pe rând, prin blocuri identice ca structură, dar cu ponderi diferite.
- După ultimul bloc, o normalizare finală pregătește vectorii pentru ieșire.
- Un strat liniar transformă vectorul ultimului token într-un scor pentru fiecare token din vocabular, iar softmax face din aceste scoruri probabilități.
| Mărime | Simbol | SmolLM2 135M |
|---|---|---|
| Mărimea vocabularului | 49.152 | |
| Dimensiunea modelului | 576 | |
| Numărul de blocuri | 30 | |
| Capete de interogare | 9 | |
| Perechi de chei și valori | 3 | |
| Dimensiunea unui cap | 64 | |
| Stratul ascuns al rețelei feed-forward | 1.536 | |
| Fereastra de context | 8.192 |
Fluxul rezidual
Secțiune intitulată „Fluxul rezidual”Fiecare token are un vector de dimensiune , care trece prin toate blocurile. O componentă nu înlocuiește vectorul, ci citește o versiune normalizată a vectorului și îi adaugă rezultatul.
Pentru curioșiFormula unui bloc
unde este atenția, este rețeaua feed-forward, iar săgeata înseamnă că primește valoarea din dreapta.
Vectorul care se modifică astfel de la un bloc la altul se numește flux rezidual (residual stream). Fiecare componentă îi adaugă o corecție, iar componentele următoare citesc suma tuturor corecțiilor de până atunci.
Față de articolul din 2017, normalizarea s-a mutat înaintea componentei. Varianta numită pre-normalizare (pre-norm) lasă calea directă de la intrare la ieșire fără nicio normalizare, iar gradienții ajung mai ușor la primele straturi. Astfel, stivele adânci se antrenează mai stabil, după cum arată analiza lui Xiong și a colaboratorilor din 2020.
Normalizarea folosită este RMSNorm (root mean square normalization), propusă în 2019 de Zhang și Sennrich.
Vectorul este împărțit la rădăcina medie pătratică a componentelor lui , apoi fiecare componentă este înmulțită cu ponderea corespunzătoare din vectorul învățat .
Pentru curioșiFormula RMSNorm
Simbolul înseamnă înmulțire element cu element, iar este o constantă mică, la SmolLM2, care evită împărțirea la zero.
Față de normalizarea pe strat din 2017, RMSNorm nu scade media și nu are bias. Calculul este mai simplu, iar rezultatele sunt comparabile.
Atenția cauzală cu interogări grupate
Secțiune intitulată „Atenția cauzală cu interogări grupate”Atenția din fiecare bloc este cea descrisă pe pagina despre articolul din 2017, cu interogări, chei și valori, produs scalar scalat, softmax și masca cauzală. Diferența apare la numărul de chei și valori.
În atenția clasică cu capete multiple (multi-head attention), fiecare dintre cele capete are propriile proiecții pentru interogări, chei și valori. În atenția cu interogări grupate (grouped-query attention), descrisă de Ainslie și colaboratorii în 2023, capetele de interogare sunt împărțite în grupuri, iar capetele dintr-un grup folosesc în comun aceleași chei și valori.
La SmolLM2, cele 9 capete de interogare formează 3 grupuri de câte 3. Matricea are dimensiunea , iar și au doar , adică 3 capete de câte 64 de valori. Calitatea scade foarte puțin, dar cheile și valorile păstrate la generare ocupă de 3 ori mai puțină memorie. Cele două extreme sunt atenția clasică () și atenția cu o singură interogare comună (multi-query attention, ), propusă de Shazeer în 2019.
Codificarea pozițională rotativă
Secțiune intitulată „Codificarea pozițională rotativă”Modelul din 2017 aduna o codificare pozițională la reprezentările vectoriale, o singură dată, la intrare. Codificarea pozițională rotativă (rotary position embedding, RoPE), propusă de Su și colaboratorii în 2021, codifică poziția direct în fiecare strat de atenție, prin rotirea vectorilor de interogare și de cheie.
Componentele unui vector sunt grupate în perechi. Pentru tokenul de pe poziția , fiecare pereche este rotită în propriul plan cu unghiul .
Pentru curioșiFormula rotirii
Pentru vectorul de interogare , rotirea perechii este o înmulțire cu o matrice de rotație. Cheile se rotesc la fel.
Baza era 10.000 în articolul original. SmolLM2 folosește 100.000.
Primele perechi se rotesc repede de la o poziție la alta, iar ultimele foarte încet, ca acele unui ceas. Implementările diferă prin felul în care grupează componentele în perechi, dar principiul este același.
Proprietatea importantă apare în produsul scalar dintre o interogare de pe poziția și o cheie de pe poziția . Rotirea cu unghiul și rotirea cu se combină într-o singură rotire cu , așa că scorul de atenție depinde doar de distanța dintre tokenuri, nu de pozițiile absolute. Valorile nu sunt rotite, deci informația transmisă rămâne neschimbată.
Rețeaua feed-forward SwiGLU
Secțiune intitulată „Rețeaua feed-forward SwiGLU”Rețeaua feed-forward din fiecare bloc folosește o variantă cu poartă, numită SwiGLU, studiată de Shazeer în 2020.
Pentru curioșiFormula SwiGLU
unde este funcția sigmoidă.
Vectorul este proiectat de două ori în dimensiunea . O proiecție trece prin SiLU și devine o „poartă”, care decide cât din cealaltă proiecție trece mai departe. Rezultatul este proiectat înapoi în dimensiunea prin .
Sunt trei matrice în loc de două, așa că se alege de obicei în jur de , pentru ca numărul de parametri să rămână apropiat de cel al rețelei clasice cu . La SmolLM2, . Ca la multe modele actuale, niciun strat liniar nu are bias. Rețeaua feed-forward conține aproximativ trei sferturi din parametrii unui bloc.
Ieșirea modelului
Secțiune intitulată „Ieșirea modelului”După ultimul bloc, vectorul trece prin RMSNorm-ul final și apoi printr-un strat liniar care dă câte un scor pentru fiecare token din vocabular.
Pentru curioșiFormula stratului de ieșire
unde este vectorul tokenului după RMSNorm-ul final, iar conține câte un scor pentru fiecare token din vocabular.
La SmolLM2, acest strat folosește chiar matricea de reprezentări vectoriale de la intrare, transpusă. Ponderile sunt legate (tied embeddings), ceea ce economisește aproximativ 28 de milioane de parametri. Scorurile trec apoi prin softmax, ca în secțiunea despre generarea textului.
Numărul de parametri
Secțiune intitulată „Numărul de parametri”Codul de mai jos numără parametrii modelului SmolLM2 135M pornind doar de la valorile din configurația modelului.
# Configurația publică a modelului SmolLM2-135M-Instruct (config.json).vocab_size = 49152d_model = 576n_layers = 30n_heads = 9n_kv_heads = 3d_head = d_model // n_heads # 64d_ff = 1536
embeddings = vocab_size * d_model# W_Q și W_O au h capete, W_K și W_V doar h_kv capete.attention = 2 * d_model * n_heads * d_head + 2 * d_model * n_kv_heads * d_headfeed_forward = 3 * d_model * d_ff # W_gate, W_up, W_downnorms = 2 * d_model # două RMSNorm în fiecare blocblock = attention + feed_forward + normstotal = embeddings + n_layers * block + d_model # plus RMSNorm-ul final
print(f"Reprezentări vectoriale: {embeddings:,}")print(f"Un bloc: {block:,} (atenție {attention:,}, feed-forward {feed_forward:,})")print(f"Total: {total:,} parametri")print(f"Partea reprezentărilor vectoriale: {embeddings / total:.1%}")Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Rezultatul, 134.515.008 parametri, explică numele „135M”. La un model atât de mic, tabelul de reprezentări vectoriale are aproximativ o cincime din parametri. La modelele de zeci de miliarde de parametri, partea tabelului devine mică, pentru că vocabularul crește mult mai încet decât restul modelului.
Antrenare și inferență
Secțiune intitulată „Antrenare și inferență”La antrenare, toată secvența este prelucrată deodată. Datorită măștii cauzale, fiecare poziție vede doar tokenurile anterioare, așa că o secvență de tokenuri dă predicții calculate în paralel, una pentru fiecare token următor.
La inferență, adică la generarea textului, lucrurile se petrec în două faze. În faza de procesare a promptului (prefill), toate tokenurile primite sunt prelucrate deodată, ca la antrenare. În faza de decodare (decoding), modelul generează câte un singur token pe pas, iar fiecare token nou trece prin toate blocurile.
Memoria cache pentru chei și valori (KV cache)
Secțiune intitulată „Memoria cache pentru chei și valori (KV cache)”La fiecare pas de decodare, tokenul nou are nevoie de cheile și valorile tuturor tokenurilor anterioare, în fiecare strat. Datorită măștii cauzale, acestea nu se schimbă când apar tokenuri noi, așa că pot fi calculate o singură dată și păstrate. Memoria în care sunt păstrate se numește memorie cache pentru chei și valori (KV cache). Fără această memorie, fiecare pas ar recalcula tot contextul.
Memoria ocupată crește cu lungimea contextului .
Pentru curioșiFormula memoriei cache
unde factorul 2 vine de la chei și valori, iar este numărul de octeți pentru o valoare, de exemplu 4 pentru numerele pe 32 de biți.
n_layers, n_heads, n_kv_heads, d_head = 30, 9, 3, 64bytes_per_value = 4 # float32
per_token = 2 * n_layers * n_kv_heads * d_head # chei și valori, în toate straturileprint(f"Valori păstrate pentru fiecare token: {per_token:,}")for n in [100, 1000, 8192]: size = per_token * n * bytes_per_value print(f"{n:>5} tokenuri: {size / 1e6:7.1f} MB")
without_gqa = 2 * n_layers * n_heads * d_head * 8192 * bytes_per_valueprint(f"Fără interogări grupate, la 8192 de tokenuri: {without_gqa / 1e6:.1f} MB")Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Costul computațional
Secțiune intitulată „Costul computațional”O estimare folosită des, de exemplu în studiul lui Kaplan și al colaboratorilor din 2020, spune că prelucrarea unui token costă aproximativ operații în virgulă mobilă, unde este numărul de parametri, deoarece fiecare parametru participă la o înmulțire și la o adunare. Antrenarea costă aproximativ operații pe token, pentru că include și calculul gradienților.
Pentru SmolLM2 135M, asta înseamnă circa 270 de milioane de operații pentru fiecare token generat. Antrenarea pe aproximativ 2.000 de miliarde de tokenuri a costat, după aceeași estimare, în jur de operații.
Estimarea ignoră atenția. Pentru un token nou, scorurile de atenție se calculează față de toate tokenurile anterioare, deci costul acestui pas crește liniar cu lungimea contextului. Pentru o secvență întreagă, costul atenției crește cu pătratul lungimii secvenței. De aceea, contextele foarte lungi sunt scumpe, iar unele modele limitează o parte din straturi la o fereastră locală de tokenuri.
Bibliografie
Secțiune intitulată „Bibliografie”- Ainslie, J. et al. (2023). GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints. EMNLP 2023. ↩︎
- Ben Allal, L. et al. (2025). SmolLM2: When Smol Goes Big – Data-Centric Training of a Small Language Model. Preprint arXiv:2502.02737.
- Elhage, N. et al. (2021). A Mathematical Framework for Transformer Circuits. Transformer Circuits Thread.
- He, K. et al. (2016). Deep Residual Learning for Image Recognition. CVPR 2016.
- Jiang, A. Q. et al. (2023). Mistral 7B. Preprint arXiv:2310.06825.
- Kaplan, J. et al. (2020). Scaling Laws for Neural Language Models. Preprint arXiv:2001.08361. ↩︎
- Pope, R. et al. (2023). Efficiently Scaling Transformer Inference. MLSys 2023.
- Qwen Team (2025). Qwen3 Technical Report. Preprint arXiv:2505.09388.
- Shazeer, N. (2019). Fast Transformer Decoding: One Write-Head is All You Need. Preprint arXiv:1911.02150. ↩︎
- Shazeer, N. (2020). GLU Variants Improve Transformer. Preprint arXiv:2002.05202. ↩︎
- Su, J. et al. (2021). RoFormer: Enhanced Transformer with Rotary Position Embedding. Preprint arXiv:2104.09864. ↩︎
- Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. Preprint arXiv:2302.13971.
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS 2017.
- Xiong, R. et al. (2020). On Layer Normalization in the Transformer Architecture. ICML 2020. ↩︎
- Zhang, B. și Sennrich, R. (2019). Root Mean Square Layer Normalization. NeurIPS 2019. ↩︎
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.