Avem nevoie doar de atenție?
Titlul paginii traduce titlul articolului „Attention Is All You Need”, publicat în 2017 de Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser și Illia Polosukhin, cercetători la Google Brain, Google Research și Universitatea din Toronto. Articolul a fost prezentat la conferința NeurIPS 2017.
Articolul a propus o arhitectură numită Transformer, construită în jurul unui singur mecanism, atenția (attention). Pe această arhitectură se bazează majoritatea modelelor de limbaj mari de astăzi.
Motivație
Secțiune intitulată „Motivație”Înainte de 2017, traducerea automată folosea mai ales rețele neuronale recurente (recurrent neural networks, RNN). O rețea recurentă citește textul token cu token și păstrează o stare internă, actualizată la fiecare pas. Calculul pentru al 50-lea token trebuie să aștepte rezultatul pentru al 49-lea, așa că antrenarea nu se poate paraleliza de-a lungul secvenței. În plus, informația despre începutul unei propoziții lungi trebuie să treacă prin toți pașii intermediari până la final.
Atenția era deja folosită alături de rețelele recurente. Încă din 2014, de la lucrarea lui Bahdanau, Cho și Bengio, un model de traducere putea să se uite direct la cuvintele din propoziția sursă ori de câte ori genera un cuvânt nou. Articolul din 2017 a renunțat complet la recurență. Fiecare token se uită direct la oricare alt token, iar toate pozițiile se calculează în paralel. De aici vine și titlul.
Definiție
Secțiune intitulată „Definiție”Atenția calculează pentru fiecare token o nouă reprezentare, ca medie ponderată a reprezentărilor tokenurilor din context. Ponderile nu sunt fixate dinainte, ci calculate din conținutul tokenurilor, și arată cât de relevant este fiecare token pentru cel curent.
În propoziția „Pisica nu a traversat strada pentru că ea era prea obosită”, pronumele „ea” se referă la pisică. Dacă ultimul cuvânt devine „lată”, același pronume se referă la stradă. Ambele substantive sunt feminine, deci gramatica nu ajută. Doar sensul restului propoziției decide. Exemplul este adaptat după prezentarea Transformerului de pe blogul Google, din 2017.
La ce se uită cuvântul „ea”
- Pisica46%
- nu3%
- a2%
- traversat5%
- strada12%
- pentru2%
- că3%
- ea10%
- era5%
- prea3%
- obosită9%
„ea” acordă cea mai mare pondere cuvântului „Pisica” (46%).
Ponderile sunt alese pentru ilustrare, nu calculate de un model. Suma ponderilor este 100%. Cuvântul „ea” este marcat cu un contur.
Un model antrenat poate învăța astfel de asocieri. Prin atenție, reprezentarea lui „ea” preia multă informație de la substantivul la care se referă, iar straturile următoare lucrează cu un „ea” care înseamnă deja „pisica” sau „strada”.
Interogări, chei și valori
Secțiune intitulată „Interogări, chei și valori”Mecanismul lucrează cu trei roluri, iar fiecare token produce câte un vector pentru fiecare rol.
- Interogarea (query) descrie ce informație caută tokenul.
- Cheia (key) descrie după ce îl pot găsi celelalte tokenuri.
- Valoarea (value) este informația pe care tokenul o transmite.
O analogie bună este căutarea într-un dicționar. Interogarea se compară cu toate cheile, iar rezultatul combină valorile. Spre deosebire de un dicționar obișnuit, potrivirea nu este exactă, iar fiecare valoare contribuie cu atât mai mult cu cât cheia corespunzătoare se potrivește mai bine.
Cei trei vectori se obțin înmulțind reprezentarea tokenului cu trei matrice de ponderi, învățate la antrenare.
Pentru curioșiProiecțiile Q, K și V
Pentru toate tokenurile deodată, cu reprezentările așezate pe rândurile unei matrice , avem:
Atenția prin produs scalar scalat
Secțiune intitulată „Atenția prin produs scalar scalat”Articolul numește formula de bază atenție prin produs scalar scalat (scaled dot-product attention). Interogarea fiecărui token se compară, printr-un produs scalar, cu cheile tuturor tokenurilor. Scorurile obținute sunt împărțite la o constantă, iar softmax le transformă în ponderi pozitive, cu suma 1. Rezultatul este media ponderată a valorilor, cu aceste ponderi.
Pentru curioșiFormula atenției
Produsul conține produsele scalare dintre fiecare interogare și fiecare cheie. Elementul de pe rândul și coloana măsoară cât de bine se potrivește interogarea tokenului cu cheia tokenului . Softmax se aplică pe fiecare rând și transformă scorurile în ponderi pozitive, cu suma 1. Înmulțirea cu face apoi media ponderată a valorilor.
Mărimea este dimensiunea vectorilor cheie. Dacă vectorii au componente independente, cu media 0 și varianța 1, produsul scalar al vectorilor are varianța . Pentru mare, scorurile devin mari în valoare absolută, iar softmax dă aproape toată ponderea unui singur token. În această zonă, gradienții sunt foarte mici și antrenarea încetinește. Împărțirea la readuce varianța la 1.
Codul de mai jos implementează formula cu NumPy, pentru 4 tokenuri. Matricele de ponderi sunt aleatorii, nu învățate, așa că ponderile de atenție nu au un sens lingvistic. Codul poate fi modificat și rulat direct în pagină.
import numpy as np
def softmax(x): # Se scade maximul pe fiecare rând, pentru stabilitate numerică. e = np.exp(x - x.max(axis=-1, keepdims=True)) return e / e.sum(axis=-1, keepdims=True)
def attention(Q, K, V, mask=None): d_k = Q.shape[-1] scores = Q @ K.T / np.sqrt(d_k) if mask is not None: # Pozițiile ascunse primesc -inf, deci pondere zero după softmax. scores = np.where(mask, scores, -np.inf) weights = softmax(scores) return weights @ V, weights
rng = np.random.default_rng(seed=0)n, d_model, d_k = 4, 8, 4 # 4 tokenuri, reprezentări de dimensiune 8X = rng.normal(size=(n, d_model))W_Q, W_K, W_V = (rng.normal(size=(d_model, d_k)) for _ in range(3))Q, K, V = X @ W_Q, X @ W_K, X @ W_V
output, weights = attention(Q, K, V)np.set_printoptions(precision=2, suppress=True)print("Ponderile de atenție (un rând pentru fiecare token):")print(weights)print("Suma fiecărui rând:", weights.sum(axis=1))print("Forma ieșirii:", output.shape)Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Masca cauzală
Secțiune intitulată „Masca cauzală”Pentru curioșiFormula măștii cauzale
Elementul se adună la scorul dintre interogarea tokenului și cheia tokenului .
După softmax, pozițiile cu primesc ponderea 0.
Prin mască, tokenurile de după poziția curentă primesc ponderea 0. Codul de mai jos continuă exemplul anterior. Funcțiile și matricele din primul bloc sunt create automat înainte de rulare, așa că blocul funcționează și singur.
# Masca cauzală: tokenul i vede doar pozițiile 0, 1, …, i.mask = np.tril(np.ones((n, n), dtype=bool))print(mask.astype(int))
_, masked_weights = attention(Q, K, V, mask)np.set_printoptions(precision=2, suppress=True)print("Ponderile cu mască:")print(masked_weights)Codul poate fi modificat și rulat direct în browser (Ctrl + Enter).
Primul token se vede doar pe sine, deci primește ponderea 1. Ultimul rând nu se schimbă, pentru că ultimul token vede oricum tot contextul.
Atenția cu capete multiple (multi-head)
Secțiune intitulată „Atenția cu capete multiple (multi-head)”O operație de atenție calculează pentru fiecare token o singură medie ponderată, deci poate surprinde un singur tip de relație între tokenuri. Atenția cu capete multiple (multi-head attention) rulează în paralel atenții independente, numite capete de atenție, fiecare cu propriile proiecții liniare învățate.
Pentru curioșiFormula atenției cu capete multiple
Rezultatele capetelor se concatenează, iar matricea de proiecție le combină înapoi în spațiul modelului.
Rezultatele capetelor sunt apoi combinate într-un singur vector pentru fiecare token. În articolul original, , dimensiunea modelului este , iar fiecare cap lucrează cu vectori de dimensiune . Astfel, costul computațional total este comparabil cu cel al unei singure atenții pe dimensiunea completă, dar modelul poate urmări în același timp relații diferite, de exemplu sintactice și semantice.
Arhitectura Transformer
Secțiune intitulată „Arhitectura Transformer”Modelul din articol a fost gândit pentru traducere automată. Codificatorul (encoder) prelucrează propoziția sursă, iar decodorul (decoder) scrie traducerea, token cu token.
Codificatorul are straturi identice, fiecare cu două blocuri. Primul este auto-atenția (self-attention) cu capete multiple, în care interogările, cheile și valorile vin din aceeași secvență. Al doilea este o rețea feed-forward (feed-forward network), aplicată separat fiecărei poziții.
Pentru curioșiFormula rețelei feed-forward
unde este vectorul unei poziții, și sunt matrice de ponderi, și sunt vectori de bias, iar aplică funcția ReLU fiecărei componente.
Rețeaua are un strat ascuns de dimensiune și funcția de activare ReLU. Atenția amestecă informația între poziții, iar rețeaua feed-forward o prelucrează în fiecare poziție.
Decodorul are tot 6 straturi, cu trei componente. Prima este auto-atenția mascată, cu masca cauzală de mai sus. A doua este atenția încrucișată (cross-attention), în care interogările vin din decodor, iar cheile și valorile vin de la ieșirea codificatorului. Prin atenția încrucișată, fiecare token al traducerii consultă propoziția sursă. A treia este rețeaua feed-forward.
Fiecare componentă este înconjurată de o conexiune reziduală (residual connection) și urmată de o normalizare pe strat (layer normalization).
Pentru curioșiConexiunea reziduală și normalizarea
unde este intrarea componentei, iar este componenta însăși, adică atenția sau rețeaua feed-forward.
Conexiunea reziduală adună intrarea la rezultat, așa că fiecare componentă adaugă o corecție în loc să înlocuiască reprezentarea. Gradienții trec astfel mai ușor prin multe straturi. Normalizarea menține valorile pe o scară stabilă. La capătul decodorului, un strat liniar și softmax dau probabilitățile următorului token. Articolul folosește aceeași matrice de ponderi pentru reprezentările vectoriale și pentru acest strat liniar.
Codificarea pozițională
Secțiune intitulată „Codificarea pozițională”Articolul adaugă la reprezentările vectoriale o codificare pozițională (positional encoding), formată din sinusuri și cosinusuri.
Pentru curioșiFormula codificării poziționale
unde este poziția tokenului, iar indică perechea de dimensiuni din vector. Autorii au ales această formă pentru că, pentru orice deplasare fixă , este o funcție liniară de , deci modelul poate învăța ușor poziții relative.
Fiecare pereche de dimensiuni din vector oscilează cu altă frecvență, ca acele unui ceas care se rotesc cu viteze diferite. Autorii au testat și poziții învățate la antrenare, cu rezultate aproape identice.
Rezultatele din articol
Secțiune intitulată „Rezultatele din articol”Experimentele au folosit seturile de traducere WMT 2014. Scorul BLEU (bilingual evaluation understudy) compară traducerea automată cu traduceri de referință făcute de oameni. Un scor mai mare este mai bun.
- Pentru traducerea din engleză în germană, varianta mare a modelului a obținut 28,4 BLEU, cu peste 2 puncte mai mult decât cele mai bune rezultate anterioare, inclusiv combinațiile de modele.
- Pentru traducerea din engleză în franceză, a obținut 41,8 BLEU, un nou record pentru un singur model, după 3,5 zile de antrenare pe opt plăci grafice NVIDIA P100.
- Varianta de bază, cu circa 65 de milioane de parametri, s-a antrenat în 12 ore pe aceleași opt plăci grafice. Varianta mare are circa 213 milioane de parametri.
Costul de antrenare a fost o mică parte din cel al celor mai bune modele anterioare. Autorii au aplicat arhitectura și la analiza sintactică a propozițiilor în engleză, cu rezultate bune.
De la Transformer la modelele de astăzi
Secțiune intitulată „De la Transformer la modelele de astăzi”După 2017, arhitectura s-a ramificat. BERT (Google, 2018) păstrează doar codificatorul și este folosit pentru înțelegerea textului, de exemplu pentru clasificare. GPT (OpenAI, 2018) păstrează doar decodorul, fără atenția încrucișată, și generează text. Majoritatea modelelor de limbaj mari de astăzi folosesc doar decodorul.
Modelele actuale au păstrat structura generală, dar au înlocuit multe componente, precum normalizarea, codificarea pozițională, rețeaua feed-forward și felul în care sunt calculate cheile și valorile. Pagina Arhitectura Transformer le descrie pe rând, cu dimensiunile reale ale modelului din demo.
Bibliografie
Secțiune intitulată „Bibliografie”- Ba, J. L., Kiros, J. R. și Hinton, G. E. (2016). Layer Normalization. Preprint arXiv:1607.06450.
- Bahdanau, D., Cho, K. și Bengio, Y. (2015). Neural Machine Translation by Jointly Learning to Align and Translate. ICLR 2015. ↩︎
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.
- He, K. et al. (2016). Deep Residual Learning for Image Recognition. CVPR 2016.
- Hochreiter, S. și Schmidhuber, J. (1997). Long Short-Term Memory. Neural Computation, 9(8), 1735–1780.
- Radford, A. et al. (2018). Improving Language Understanding by Generative Pre-Training. Raport tehnic OpenAI.
- Sutskever, I., Vinyals, O. și Le, Q. V. (2014). Sequence to Sequence Learning with Neural Networks. NeurIPS 2014.
- Uszkoreit, J. (2017). Transformer: A Novel Neural Network Architecture for Language Understanding. Blogul Google Research. ↩︎
- Vaswani, A. et al. (2017). Attention Is All You Need. NeurIPS 2017. ↩︎
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.