Tokenizare și reprezentări vectoriale
Modelele de inteligență artificială nu înțeleg textul așa cum îl înțelegem noi, ci lucrează doar cu numere. Pentru ca un model să poată procesa cuvinte, propoziții sau documente întregi, trebuie să transformăm textul în reprezentări numerice. Acest proces are două părți principale: tokenizarea (tokenization) și reprezentările vectoriale (embeddings).
Tokenizarea: de la text la ID-uri
Secțiune intitulată „Tokenizarea: de la text la ID-uri”Tokenizarea este primul pas: transformăm textul într-o secvență de tokenuri. Un token poate fi un cuvânt întreg, o parte de cuvânt sau chiar un caracter.
De ce nu folosim cuvinte întregi?
Secțiune intitulată „De ce nu folosim cuvinte întregi?”Dacă am folosi fiecare cuvânt ca token separat, am avea probleme:
- Vocabularul ar fi imens: limba engleză are sute de mii de cuvinte, iar în română fiecare cuvânt are multe forme flexionate (un verb are zeci de forme).
- Cuvinte rare: multe cuvinte apar doar de câteva ori în datele de antrenare.
- Cuvinte necunoscute: nu am putea gestiona cuvinte noi sau greșeli de scriere.
Metode de tokenizare
Secțiune intitulată „Metode de tokenizare”Tokenizare la nivel de cuvânt (word-level)
Secțiune intitulată „Tokenizare la nivel de cuvânt (word-level)”Fiecare cuvânt devine un token. Metoda este simplă, dar ineficientă pentru texte diverse.
text = "Rețele neuronale învață din date"tokens = text.split()# ['Rețele', 'neuronale', 'învață', 'din', 'date']Tokenizare la nivel de subcuvânt (subword)
Secțiune intitulată „Tokenizare la nivel de subcuvânt (subword)”Este metoda folosită de modelele moderne (BPE, WordPiece, Unigram). Cuvintele frecvente rămân întregi, iar cele rare se descompun:
# Exemplu cu BPE (Byte Pair Encoding)text = "learning"# Tokenuri posibile: ["learn", "ing"] sau ["l", "earn", "ing"]Acesta este principiul din spatele tokenizatoarelor folosite de GPT, BERT și alte modele mari.
Reprezentări vectoriale: de la ID-uri la vectori
Secțiune intitulată „Reprezentări vectoriale: de la ID-uri la vectori”După ce obținem ID-urile tokenurilor, trebuie să le transformăm în vectori. O reprezentare vectorială este un vector dens asociat unui token, de obicei cu câteva sute până la peste 10.000 de dimensiuni (cel mai mare model GPT-3, de exemplu, folosește 12.288). Tokenurile cu sens asemănător primesc vectori apropiați.
Cum funcționează
Secțiune intitulată „Cum funcționează”Fiecare token are un vector asociat într-o matrice de reprezentări vectoriale (embedding matrix). Când modelul vede un token, înlocuiește ID-ul cu vectorul corespunzător:
import numpy as np
# Matricea de reprezentări vectoriale: vocab_size x embedding_dimembeddings_matrix = np.random.randn(10000, 256)
# ID-ul tokenuluitoken_id = 42
# Reprezentarea vectorială a tokenuluiembedding_vector = embeddings_matrix[token_id]print(embedding_vector.shape) # (256,)Proprietăți interesante
Secțiune intitulată „Proprietăți interesante”Reprezentările vectoriale moderne au proprietăți surprinzătoare. Vectorii cuvintelor cu sens asemănător sunt apropiați în spațiul vectorial:
- Cuvinte similare: „câine” și „cățel” au vectori apropiați.
- Relații matematice: în unele spații, de exemplu în cel al modelului word2vec,
vector("rege") - vector("bărbat") + vector("femeie")≈vector("regină"). - Context: modelele moderne (BERT, GPT) produc reprezentări vectoriale contextuale, în care același cuvânt are vectori diferiți în contexte diferite.
De la tokenizare la reprezentarea vectorială
Secțiune intitulată „De la tokenizare la reprezentarea vectorială”Acesta este fluxul complet pentru un singur token:
- Text neprelucrat → „învățare”
- Tokenizare → ID-ul 3847 (dintr-un vocabular de 10.000 de tokenuri)
- Căutarea în matricea de reprezentări vectoriale → un vector de 256 de dimensiuni
- Intrarea în rețeaua neuronală → vectorul este prelucrat de straturile modelului
Aplicații practice
Secțiune intitulată „Aplicații practice”Căutare semantică
Secțiune intitulată „Căutare semantică”Reprezentările vectoriale permit căutarea după sens, nu după cuvinte-cheie exacte:
# Exemplu conceptualquery_embedding = embedding("cum învăț programare")document_embeddings = [embedding(d) for d in documents]
# Căutăm documentul cu cea mai mare asemănare cosinussimilarities = [cosine_similarity(query_embedding, doc) for doc in document_embeddings]best_match = documents[similarities.index(max(similarities))]Clasificarea textului
Secțiune intitulată „Clasificarea textului”Reprezentările vectoriale pot fi folosite ca intrare pentru clasificatori simpli:
# Reprezentarea vectorială medie a întregii propozițiisentence_embedding = np.mean([embedding(token) for token in tokens], axis=0)
# Clasificare cu regresie logistică sau cu o rețea simplăclassification = classifier.predict(sentence_embedding)Comparație cu codificarea one-hot
Secțiune intitulată „Comparație cu codificarea one-hot”| Aspect | Codificare one-hot | Reprezentări vectoriale dense |
|---|---|---|
| Dimensiune | Mărimea vocabularului (zeci sau sute de mii) | De la câteva sute la peste 10.000 |
| Structură | Toate valorile 0, în afară de una (vector rar) | Vector dens |
| Semnificație | Fiecare cuvânt este independent de celelalte | Cuvintele similare au vectori apropiați |
| Valori | 1 sau 0 | Numere reale continue |
Bibliografie
Secțiune intitulată „Bibliografie”- Brown, T. B. et al. (2020). Language Models are Few-Shot Learners. NeurIPS 2020.
- Devlin, J. et al. (2019). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. NAACL 2019.
- Kudo, T. (2018). Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates. ACL 2018.
- Kudo, T. și Richardson, J. (2018). SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing. EMNLP 2018.
- Mikolov, T. et al. (2013). Efficient Estimation of Word Representations in Vector Space. Preprint arXiv:1301.3781.
- Mikolov, T., Yih, W. și Zweig, G. (2013). Linguistic Regularities in Continuous Space Word Representations. NAACL 2013.
- Petrov, A. et al. (2023). Language Model Tokenizers Introduce Unfairness Between Languages. NeurIPS 2023.
- Reimers, N. și Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP 2019.
- Schuster, M. și Nakajima, K. (2012). Japanese and Korean voice search. ICASSP 2012.
- Sennrich, R., Haddow, B. și Birch, A. (2016). Neural Machine Translation of Rare Words with Subword Units. ACL 2016.
- Wu, Y. et al. (2016). Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. Preprint arXiv:1609.08144.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.