Salt la conținut

Tokenizare și reprezentări vectoriale

ÎncepătorLectură: 3 min

Modelele de inteligență artificială nu înțeleg textul așa cum îl înțelegem noi, ci lucrează doar cu numere. Pentru ca un model să poată procesa cuvinte, propoziții sau documente întregi, trebuie să transformăm textul în reprezentări numerice. Acest proces are două părți principale: tokenizarea (tokenization) și reprezentările vectoriale (embeddings).

De la text la vectori: tokenizarea și matricea de reprezentări vectorialeExpresia „învățare automată” este împărțită în trei tokenuri: „învățare”, „autom” și „ată”. Fiecare token primește ID-ul corespunzător din vocabular (3847, 5120 și 8634). Fiecare ID alege un rând din matricea de reprezentări vectoriale, care are 10.000 de rânduri și 256 de coloane, iar rândul ales este vectorul tokenului, cu 256 de valori.TextTokenuriID-uriMatricea de reprezentăriVectori„învățareautomată”învățare3847…autom5120…ată8634…10.000 de rânduri × 256 de coloanecâte 256 de valori
Tokenizatorul împarte textul în tokenuri și înlocuiește fiecare token cu ID-ul corespunzător din vocabular. ID-ul alege un rând din matricea de reprezentări vectoriale, iar rândul ales este vectorul pe care îl primesc straturile modelului. Împărțirea și ID-urile sunt ilustrative.

Tokenizarea este primul pas: transformăm textul într-o secvență de tokenuri. Un token poate fi un cuvânt întreg, o parte de cuvânt sau chiar un caracter.

Dacă am folosi fiecare cuvânt ca token separat, am avea probleme:

  • Vocabularul ar fi imens: limba engleză are sute de mii de cuvinte, iar în română fiecare cuvânt are multe forme flexionate (un verb are zeci de forme).
  • Cuvinte rare: multe cuvinte apar doar de câteva ori în datele de antrenare.
  • Cuvinte necunoscute: nu am putea gestiona cuvinte noi sau greșeli de scriere.

Fiecare cuvânt devine un token. Metoda este simplă, dar ineficientă pentru texte diverse.

text = "Rețele neuronale învață din date"
tokens = text.split()
# ['Rețele', 'neuronale', 'învață', 'din', 'date']

Este metoda folosită de modelele moderne (BPE, WordPiece, Unigram). Cuvintele frecvente rămân întregi, iar cele rare se descompun:

# Exemplu cu BPE (Byte Pair Encoding)
text = "learning"
# Tokenuri posibile: ["learn", "ing"] sau ["l", "earn", "ing"]

Acesta este principiul din spatele tokenizatoarelor folosite de GPT, BERT și alte modele mari.

După ce obținem ID-urile tokenurilor, trebuie să le transformăm în vectori. O reprezentare vectorială este un vector dens asociat unui token, de obicei cu câteva sute până la peste 10.000 de dimensiuni (cel mai mare model GPT-3, de exemplu, folosește 12.288). Tokenurile cu sens asemănător primesc vectori apropiați.

Fiecare token are un vector asociat într-o matrice de reprezentări vectoriale (embedding matrix). Când modelul vede un token, înlocuiește ID-ul cu vectorul corespunzător:

import numpy as np
# Matricea de reprezentări vectoriale: vocab_size x embedding_dim
embeddings_matrix = np.random.randn(10000, 256)
# ID-ul tokenului
token_id = 42
# Reprezentarea vectorială a tokenului
embedding_vector = embeddings_matrix[token_id]
print(embedding_vector.shape) # (256,)

Reprezentările vectoriale moderne au proprietăți surprinzătoare. Vectorii cuvintelor cu sens asemănător sunt apropiați în spațiul vectorial:

  • Cuvinte similare: „câine” și „cățel” au vectori apropiați.
  • Relații matematice: în unele spații, de exemplu în cel al modelului word2vec, vector("rege") - vector("bărbat") + vector("femeie") ≈ vector("regină").
  • Context: modelele moderne (BERT, GPT) produc reprezentări vectoriale contextuale, în care același cuvânt are vectori diferiți în contexte diferite.
Reprezentări vectoriale proiectate în două dimensiuniCuvintele „câine”, „cățel” și „pisică” stau aproape unele de altele, departe de „tastatură” și „ecran”. În dreapta, „rege”, „regină”, „bărbat” și „femeie” formează un paralelogram: săgeata de la „bărbat” la „femeie” are aceeași direcție ca săgeata de la „rege” la „regină”, de unde relația rege − bărbat + femeie ≈ regină.sens asemănător, vectori apropiațiaceeași direcție(masculin → feminin)rege − bărbat + femeie ≈ reginăcâinecățelpisicătastaturăecranregereginăbărbatfemeie
O proiecție ilustrativă în două dimensiuni. Cuvintele cu sens asemănător au vectori apropiați. În unele spații, de exemplu în cel al modelului word2vec, drumul de la „bărbat” la „femeie” este aproape același cu drumul de la „rege” la „regină”.

Acesta este fluxul complet pentru un singur token:

  1. Text neprelucrat → „învățare”
  2. Tokenizare → ID-ul 3847 (dintr-un vocabular de 10.000 de tokenuri)
  3. Căutarea în matricea de reprezentări vectoriale → un vector de 256 de dimensiuni
  4. Intrarea în rețeaua neuronală → vectorul este prelucrat de straturile modelului

Reprezentările vectoriale permit căutarea după sens, nu după cuvinte-cheie exacte:

# Exemplu conceptual
query_embedding = embedding("cum învăț programare")
document_embeddings = [embedding(d) for d in documents]
# Căutăm documentul cu cea mai mare asemănare cosinus
similarities = [cosine_similarity(query_embedding, doc) for doc in document_embeddings]
best_match = documents[similarities.index(max(similarities))]

Reprezentările vectoriale pot fi folosite ca intrare pentru clasificatori simpli:

# Reprezentarea vectorială medie a întregii propoziții
sentence_embedding = np.mean([embedding(token) for token in tokens], axis=0)
# Clasificare cu regresie logistică sau cu o rețea simplă
classification = classifier.predict(sentence_embedding)
AspectCodificare one-hotReprezentări vectoriale dense
DimensiuneMărimea vocabularului (zeci sau sute de mii)De la câteva sute la peste 10.000
StructurăToate valorile 0, în afară de una (vector rar)Vector dens
SemnificațieFiecare cuvânt este independent de celelalteCuvintele similare au vectori apropiați
Valori1 sau 0Numere reale continue