Generare augmentată prin regăsire (RAG) și apel de instrumente
Privit la nivel fizic, un model de limbaj mare nu este o entitate conștientă și nici o bază de date care se actualizează continuu. Un model precum Llama, Claude sau GPT este, în esență, un fișier uriaș pe disc: zeci sau sute de miliarde de numere în virgulă mobilă, organizate în matrice de ponderi ().
Când folosim modelul (la inferență), ponderile sunt înghețate (frozen): valorile nu se mai schimbă.
Ca să facem din această matrice statică un asistent util, conectat la realitate, folosim două mecanisme care se completează: generarea augmentată prin regăsire (RAG), care aduce date proaspete, și apelul de instrumente (tool calling), prin care modelul poate face acțiuni concrete în lumea din afara modelului.
Memoria parametrică și memoria de lucru
Secțiune intitulată „Memoria parametrică și memoria de lucru”Ca să înțelegem cum funcționează RAG, ne ajută să deosebim cele două tipuri de memorie ale unui model de limbaj.
| Criteriu | Memoria parametrică (ponderile) | Memoria de lucru (fereastra de context) |
|---|---|---|
| Unde se află | În matricele de ponderi, stocate pe disc și în VRAM | În fereastra de context |
| Cum se modifică | Doar prin reantrenare sau ajustare fină (fine-tuning) | La fiecare cerere trimisă de utilizator |
| Cât costă actualizarea | Zile sau săptămâni de calcul pe mii de plăci grafice (GPU) | Câteva milisecunde: adăugăm text în prompt |
| Cum sunt cunoștințele | Probabilistice, difuze, cu detalii ușor de confundat | Exacte, pot fi citate și verificate direct |
| La ce se potrivește | Înțelegerea limbii, gramatica, raționamentul, stilul | Fapte concrete, cifre, documente recente |
Nu are sens să reantrenăm un model de 70 de miliarde de parametri de fiecare dată când apare o știre nouă sau se schimbă o procedură internă. Mai simplu este să tratăm modelul ca pe un sistem de raționament peste contextul curent și să-i dăm informațiile proaspete chiar în momentul întrebării.
Ce este RAG
Secțiune intitulată „Ce este RAG”Generarea augmentată prin regăsire (retrieval-augmented generation, RAG), numită uneori și generare augmentată prin recuperare, este o arhitectură software care leagă un model de limbaj de o sursă externă de date verificate.
Varianta clasică de RAG are patru etape.
Documente sursă (PDF, baze de date, pagini web) ↓ [1. Fragmentare (chunking)] Fragmente scurte de text ↓ [2. Model de reprezentare vectorială] Vectori numerici (embeddings) ↓ [3. Bază de date vectorială] Indexare și căutare după similaritate ↓Utilizator: întrebare → căutare → fragmente relevante ↓ [4. Augmentarea promptului]Prompt cu fragmentele regăsite → LLM → răspuns ancorat în surse1. Fragmentarea documentelor (chunking)
Secțiune intitulată „1. Fragmentarea documentelor (chunking)”Documentele lungi (manuale tehnice, contracte, arhive de cod) nu pot fi trimise modelului dintr-odată fără să risipească fereastra de context. De aceea, un algoritm de fragmentare împarte textul în bucăți mai mici, numite fragmente (chunks), de obicei de câteva sute de tokenuri. Fragmentele vecine se suprapun puțin (overlap), ca să nu se piardă sensul la granițe.
2. Reprezentarea vectorială (embeddings)
Secțiune intitulată „2. Reprezentarea vectorială (embeddings)”Fiecare fragment trece printr-un model specializat de reprezentare vectorială (embedding model), care transformă textul într-un vector numeric de dimensiune fixă, de exemplu un șir de 1.536 de numere reale.
Pentru curioșiVectorul unui fragment
unde este dimensiunea vectorului, de exemplu 1.536.
Partea utilă a acestui spațiu vectorial este că textele cu înțeles apropiat ajung aproape unele de altele, chiar dacă folosesc cuvinte diferite. De exemplu, „eroare de rețea” și „conexiune întreruptă” au vectori orientați aproape în aceeași direcție.
3. Regăsirea informațiilor (retrieval)
Secțiune intitulată „3. Regăsirea informațiilor (retrieval)”Vectorii tuturor fragmentelor sunt salvați într-o bază de date vectorială (vector database). Când un utilizator pune o întrebare, sistemul face pașii de mai jos.
-
Vectorizarea întrebării: și întrebarea este transformată într-un vector .
-
Calculul asemănării: baza de date calculează asemănarea cosinus (cosine similarity) dintre vectorul întrebării și vectorii tuturor fragmentelor. Scorul este cu atât mai mare cu cât cei doi vectori sunt orientați mai aproape de aceeași direcție, adică cu cât textele au înțelesuri mai apropiate.
Pentru curioșiAsemănarea cosinus
Asemănarea cosinus este cosinusul unghiului dintre cei doi vectori.
unde este produsul scalar al vectorilor, iar și sunt lungimile celor doi vectori.
-
Selecția contextului: sistemul păstrează cele mai relevante fragmente, de exemplu primele 3–5 pasaje cu scorul cel mai mare.
Sistemele mai avansate folosesc căutare hibridă (hybrid search): combină căutarea semantică pe vectori cu o căutare lexicală clasică, după cuvinte exacte (de exemplu BM25). Urmează o etapă de reclasare (re-ranking), în care un model dedicat reordonează rezultatele.
4. Augmentarea și generarea răspunsului
Secțiune intitulată „4. Augmentarea și generarea răspunsului”Fragmentele regăsite sunt puse într-un prompt structurat, care este trimis modelului de limbaj.
Folosește exclusiv fragmentele de mai jos pentru a răspunde la întrebarea utilizatorului.Dacă informația nu se regăsește în text, răspunde clar că nu cunoști răspunsul. Citează sursele.
--- Fragmente regăsite ---[Document 1, pag. 4]: Temperatura de funcționare admisă a senzorului X-10 este între -20°C și +60°C.[Document 2, pag. 12]: În caz de depășire a 60°C, declanșați protocolul de răcire forțată.
--- Întrebare ---La ce temperatură trebuie pornită răcirea forțată pentru senzorul X-10?Modelul nu mai trebuie să-și „amintească” din ponderi un detaliu obscur despre senzorul X-10. Citește fragmentul oficial primit în context și formulează un răspuns precis: „Răcirea forțată trebuie activată la depășirea temperaturii de 60°C, conform Documentului 2 (pag. 12).”
Avantajele RAG față de reantrenare
Secțiune intitulată „Avantajele RAG față de reantrenare”Ajustarea fină (fine-tuning) este foarte bună pentru a învăța modelul un anumit ton, un stil de dialog sau un format nou de ieșire. Nu este însă potrivită pentru a-i adăuga cunoștințe factuale care se schimbă des.
Apelul de instrumente: trecerea la acțiune
Secțiune intitulată „Apelul de instrumente: trecerea la acțiune”Cu RAG, modelul primește informații în mod pasiv: doar „citește” fragmentele regăsite. Ponderile, singure, tot nu pot interacționa direct cu mediul digital.
Aici intervine apelul de instrumente (tool calling sau function calling), mecanismul prin care un model de limbaj poate acționa în lumea reală.
Cum funcționează, concret, apelul de instrumente?
Secțiune intitulată „Cum funcționează, concret, apelul de instrumente?”Modelul propriu-zis nu rulează niciun cod. Nu are conexiune la rețea și nu poate accesa direct discul. În schimb, sistemul software din jurul modelului (harnașamentul) stabilește un protocol clar.
- Descrierea instrumentelor: harnașamentul pune în promptul de sistem descrierile funcțiilor disponibile, în format JSON Schema (de exemplu, o funcție pentru prognoza meteo, una pentru interogarea unei baze de date SQL sau una pentru trimiterea unui mesaj).
- Decizia modelului: când primește o cerere precum „Care este stocul actual pentru produsul cu codul A42 și scade o unitate?”, modelul își dă seama că nu poate răspunde din memoria parametrică. În loc să scrie text pentru om, generează un obiect JSON cu instrumentul ales și argumentele apelului.
{"name": "interogare_stoc","arguments": {"cod_produs": "A42"}}
- Execuția de către harnașament: sistemul gazdă preia acest mesaj, rulează funcția în mediul real (trimite interogarea SQL către serverul bazei de date) și primește rezultatul real,
{"stoc": 14, "locatie": "Depozit B"}. - Introducerea observației: harnașamentul pune acest rezultat înapoi în fereastra de context a modelului, ca mesaj separat, marcat drept rezultatul apelului.
- Decizia pasului următor: modelul citește că stocul este 14 și generează următorul apel.
{"name": "actualizare_stoc","arguments": {"cod_produs": "A42","cantitate_noua": 13}}
- Confirmarea: după ce primește confirmarea că actualizarea a reușit, modelul îi răspunde utilizatorului cu mesajul „Stocul produsului A42 a fost redus de la 14 la 13 unități în Depozitul B.”
Modelul a acționat în lumea reală și a schimbat o stare externă, deși, în interior, nu a făcut decât să genereze tokenuri de text într-un format stabilit dinainte.
RAG ca instrument într-un sistem agentic
Secțiune intitulată „RAG ca instrument într-un sistem agentic”În sistemele cu comportament agentic, RAG și apelul de instrumente nu mai sunt tehnologii separate, ci se îmbină: RAG devine încă un instrument, pe care agentul îl apelează când are nevoie.
Un asistent complet funcționează cam așa.
- Agentul primește de la utilizator un obiectiv care cere mai mulți pași.
- Dacă are nevoie de informații dintr-o documentație internă, agentul decide singur să apeleze instrumentul
cauta_documentatie(intrebare="..."). - Harnașamentul face căutarea RAG și adaugă în context fragmentele relevante.
- Agentul analizează ce a găsit. Dacă trebuie să facă o modificare, apelează instrumentul
modifica_fisier(...)sauexecuta_test(...). - Agentul verifică ce a afișat consola și reia ciclul până când problema este rezolvată complet.
Combinația arată că ce poate face azi un sistem AI nu depinde doar de mărimea matricelor de ponderi, ci și de harnașamentul care le înconjoară. Prin RAG, modelul lucrează cu date la zi. Prin apelul de instrumente, poate acționa direct asupra mediului și poate duce la capăt sarcini cu mulți pași.
Bibliografie
Secțiune intitulată „Bibliografie”- Gao, Y. et al. (2023). Retrieval-Augmented Generation for Large Language Models: A Survey. Preprint arXiv:2312.10997.
- Karpukhin, V. et al. (2020). Dense Passage Retrieval for Open-Domain Question Answering. EMNLP 2020.
- Lewis, P. et al. (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
- Nogueira, R. și Cho, K. (2019). Passage Re-ranking with BERT. Preprint arXiv:1901.04085.
- Petroni, F. et al. (2019). Language Models as Knowledge Bases? EMNLP 2019.
- Reimers, N. și Gurevych, I. (2019). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. EMNLP 2019.
- Robertson, S. și Zaragoza, H. (2009). The Probabilistic Relevance Framework: BM25 and Beyond. Foundations and Trends in Information Retrieval.
- Schick, T. et al. (2023). Toolformer: Language Models Can Teach Themselves to Use Tools. NeurIPS 2023.
- Yao, S. et al. (2023). ReAct: Synergizing Reasoning and Acting in Language Models. ICLR 2023.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.