Salt la conținut

Un model de limbaj local cu Transformers

ÎncepătorLectură: 4 min

Conversația de mai jos rulează un model mic, SmolLM2 135M, direct în browser. În acest laborator ajungem la același rezultat în Python, pe propriul calculator: vorbim cu SmolLM2-360M-Instruct, un model mai mare din aceeași familie, apoi cu oricare dintre modelele cu ponderi deschise publicate pe Hugging Face Hub.

Conversație cu SmolLM2 135M

Modelul are aproximativ 135 de milioane de parametri și rulează integral în browser, fără server. Descărcarea are circa 170 MB, se face de pe acest site și doar la cerere. După prima încărcare, fișierele rămân salvate în browser, dacă acesta are spațiu suficient.

Modelul a fost antrenat pe texte în limba engleză și răspunde în engleză, chiar și la mesajele scrise în română. Un model atât de mic greșește des: inventează fapte, se repetă și pierde ușor firul. Răspunsurile nu sunt verificate și nu trebuie tratate ca informații corecte.

SmolLM2-135M-Instruct este un model publicat de Hugging Face sub licența Apache 2.0, distribuit aici în forma convertită de onnx-community.

Instrumentul folosit este Transformers, librăria open-source a companiei Hugging Face, care descarcă modelul, îi încarcă ponderile în PyTorch și oferă aceeași interfață pentru mii de arhitecturi diferite. Librăria are o documentație oficială foarte bună, pe care nu o traducem aici. Laboratorul arată codul minim care pune un model în funcțiune, explică ce se întâmplă în fiecare pas și trimite la secțiunea potrivită din documentație pentru detalii.

Toate exemplele au fost rulate cu Transformers 5.20 și PyTorch 2.14. Rezultatele afișate pe pagini vin din aceste rulări.

  1. Introducere (această pagină): instalarea și primul model, rulat cu pipeline în câteva linii de cod.
  2. Tokenizatorul, modelul și generarea: aceiași pași, făcuți de mână, adică tokenizarea, șablonul de chat, parametrii generării, afișarea textului pe măsură ce apare și o conversație cu mai multe replici.
  3. Memorie, dispozitive și cuantizare: de câtă memorie are nevoie un model, cum alegem placa grafică și cum îl micșorăm prin cuantizare.
  4. Un model de raționament local: un model care „gândește” înainte să răspundă, cu raționamentul separat de răspuns și cu un buget de gândire controlat din cod.
  • Python 3.10 sau mai nou.
  • Pachete Python: torch, transformers și accelerate (folosit pentru plasarea automată a modelului pe placa grafică).
  • Spațiu pe disc: modelul SmolLM2-360M-Instruct, folosit în primele pagini, ocupă aproximativ 700 MB. Modelul Qwen3-1.7B, de pe ultima pagină, ocupă aproximativ 4 GB.
  • Hardware: orice calculator cu cel puțin 8 GB de memorie RAM. O placă grafică NVIDIA (CUDA) sau un cip Apple Silicon (MPS) face generarea mult mai rapidă, dar modelele mici rulează și pe procesor (CPU).

Pentru a crea un mediu virtual și a instala pachetele, rulați comenzile de mai jos:

Terminal window
mkdir model-local && cd model-local
python3 -m venv .venv
source .venv/bin/activate
pip install torch transformers accelerate

Pe Linux și Windows, varianta de PyTorch potrivită pentru placa grafică se alege de pe pagina de instalare PyTorch. Alte metode de instalare a librăriei Transformers sunt descrise în ghidul de instalare.

Laboratorul poate rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser, fără nicio instalare pe calculatorul propriu. Laboratorul are un singur notebook, cu codul tuturor paginilor, în ordine, care se deschide în Colab cu butonul de la începutul paginii. Prima celulă instalează pachetele, iar celulele următoare se rulează de sus în jos. Modelele se descarcă în mașina virtuală a Colab și se șterg odată cu mașina, la sfârșitul sesiunii.

Cel mai scurt drum de la nimic la un răspuns este funcția pipeline, care ascunde toți pașii intermediari. Salvați codul de mai jos în fișierul primul_model.py:

from transformers import pipeline
# La prima rulare, fișierele modelului (aproximativ 700 MB) se descarcă de pe Hugging Face Hub.
generator = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-360M-Instruct")
messages = [{"role": "user", "content": "What is the capital of France? Answer in one sentence."}]
result = generator(messages, max_new_tokens=40)
print(result[0]["generated_text"][-1]["content"])

Apoi rulați:

Terminal window
python primul_model.py
The capital of France is Paris.

SmolLM2-360M-Instruct este un model mic, cu 362 de milioane de parametri, publicat de Hugging Face sub licența Apache 2.0. A fost antrenat în principal pe text în engleză, așa că îi scriem în engleză. Răspunde rapid chiar și pe un laptop, dar greșește des, după cum vom vedea pe pagina următoare.

Funcția pipeline poate face mult mai mult decât generare de text, de exemplu clasificare, traducere sau recunoașterea vorbirii. Sarcinile disponibile sunt descrise în ghidul despre pipeline.

La prima rulare, Transformers descarcă ponderile, configurația și tokenizatorul în directorul ~/.cache/huggingface/hub. La rulările următoare, fișierele sunt citite de acolo, fără conexiune la internet. Directorul poate fi mutat cu variabila de mediu HF_HOME, iar modelele descărcate pot fi listate și șterse cu comanda hf cache. Toate opțiunile sunt descrise în ghidul despre memoria cache.

Pe Hugging Face Hub, modelele pot fi filtrate după sarcină (pentru conversație, Text Generation), după licență și după mărime. Pagina fiecărui model (model card) spune pentru ce a fost antrenat, ce limbi cunoaște, sub ce licență poate fi folosit și, de obicei, ce parametri de generare recomandă autorii. Merită citită înainte de a folosi modelul.

Pentru început, sunt potrivite modelele mici, cu sub 2 miliarde de parametri, care încap ușor în memorie. Codul din laborator funcționează la fel pentru modele mai mari. Se schimbă doar numele modelului și, după cum arată pagina despre memorie, cantitatea de memorie necesară.