Un model de limbaj local cu Transformers
Conversația de mai jos rulează un model mic, SmolLM2 135M, direct în browser. În acest laborator ajungem la același rezultat în Python, pe propriul calculator: vorbim cu SmolLM2-360M-Instruct, un model mai mare din aceeași familie, apoi cu oricare dintre modelele cu ponderi deschise publicate pe Hugging Face Hub.
Conversație cu SmolLM2 135M
Modelul are aproximativ 135 de milioane de parametri și rulează integral în browser, fără server. Descărcarea are circa 170 MB, se face de pe acest site și doar la cerere. După prima încărcare, fișierele rămân salvate în browser, dacă acesta are spațiu suficient.
Modelul a fost antrenat pe texte în limba engleză și răspunde în engleză, chiar și la mesajele scrise în română. Un model atât de mic greșește des: inventează fapte, se repetă și pierde ușor firul. Răspunsurile nu sunt verificate și nu trebuie tratate ca informații corecte.
Se pregătește descărcarea…
SmolLM2-135M-Instruct este un model publicat de Hugging Face sub licența Apache 2.0, distribuit aici în forma convertită de onnx-community.
Instrumentul folosit este Transformers, librăria open-source a companiei Hugging Face, care descarcă modelul, îi încarcă ponderile în PyTorch și oferă aceeași interfață pentru mii de arhitecturi diferite. Librăria are o documentație oficială foarte bună, pe care nu o traducem aici. Laboratorul arată codul minim care pune un model în funcțiune, explică ce se întâmplă în fiecare pas și trimite la secțiunea potrivită din documentație pentru detalii.
Toate exemplele au fost rulate cu Transformers 5.20 și PyTorch 2.14. Rezultatele afișate pe pagini vin din aceste rulări.
Etapele laboratorului
Secțiune intitulată „Etapele laboratorului”- Introducere (această pagină): instalarea și primul model, rulat cu
pipelineîn câteva linii de cod. - Tokenizatorul, modelul și generarea: aceiași pași, făcuți de mână, adică tokenizarea, șablonul de chat, parametrii generării, afișarea textului pe măsură ce apare și o conversație cu mai multe replici.
- Memorie, dispozitive și cuantizare: de câtă memorie are nevoie un model, cum alegem placa grafică și cum îl micșorăm prin cuantizare.
- Un model de raționament local: un model care „gândește” înainte să răspundă, cu raționamentul separat de răspuns și cu un buget de gândire controlat din cod.
Cerințe de sistem
Secțiune intitulată „Cerințe de sistem”- Python 3.10 sau mai nou.
- Pachete Python:
torch,transformersșiaccelerate(folosit pentru plasarea automată a modelului pe placa grafică). - Spațiu pe disc: modelul SmolLM2-360M-Instruct, folosit în primele pagini, ocupă aproximativ 700 MB. Modelul Qwen3-1.7B, de pe ultima pagină, ocupă aproximativ 4 GB.
- Hardware: orice calculator cu cel puțin 8 GB de memorie RAM. O placă grafică NVIDIA (CUDA) sau un cip Apple Silicon (MPS) face generarea mult mai rapidă, dar modelele mici rulează și pe procesor (CPU).
Instalare
Secțiune intitulată „Instalare”Pentru a crea un mediu virtual și a instala pachetele, rulați comenzile de mai jos:
mkdir model-local && cd model-localpython3 -m venv .venvsource .venv/bin/activatepip install torch transformers acceleratePe Linux și Windows, varianta de PyTorch potrivită pentru placa grafică se alege de pe pagina de instalare PyTorch. Alte metode de instalare a librăriei Transformers sunt descrise în ghidul de instalare.
Rularea în Google Colab
Secțiune intitulată „Rularea în Google Colab”Laboratorul poate rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser, fără nicio instalare pe calculatorul propriu. Laboratorul are un singur notebook, cu codul tuturor paginilor, în ordine, care se deschide în Colab cu butonul de la începutul paginii. Prima celulă instalează pachetele, iar celulele următoare se rulează de sus în jos. Modelele se descarcă în mașina virtuală a Colab și se șterg odată cu mașina, la sfârșitul sesiunii.
Primul model
Secțiune intitulată „Primul model”Cel mai scurt drum de la nimic la un răspuns este funcția pipeline, care ascunde toți pașii intermediari. Salvați codul de mai jos în fișierul primul_model.py:
from transformers import pipeline
# La prima rulare, fișierele modelului (aproximativ 700 MB) se descarcă de pe Hugging Face Hub.generator = pipeline("text-generation", model="HuggingFaceTB/SmolLM2-360M-Instruct")
messages = [{"role": "user", "content": "What is the capital of France? Answer in one sentence."}]result = generator(messages, max_new_tokens=40)print(result[0]["generated_text"][-1]["content"])Apoi rulați:
python primul_model.pyThe capital of France is Paris.SmolLM2-360M-Instruct este un model mic, cu 362 de milioane de parametri, publicat de Hugging Face sub licența Apache 2.0. A fost antrenat în principal pe text în engleză, așa că îi scriem în engleză. Răspunde rapid chiar și pe un laptop, dar greșește des, după cum vom vedea pe pagina următoare.
Funcția pipeline poate face mult mai mult decât generare de text, de exemplu clasificare, traducere sau recunoașterea vorbirii. Sarcinile disponibile sunt descrise în ghidul despre pipeline.
Unde ajung fișierele modelului
Secțiune intitulată „Unde ajung fișierele modelului”La prima rulare, Transformers descarcă ponderile, configurația și tokenizatorul în directorul ~/.cache/huggingface/hub. La rulările următoare, fișierele sunt citite de acolo, fără conexiune la internet. Directorul poate fi mutat cu variabila de mediu HF_HOME, iar modelele descărcate pot fi listate și șterse cu comanda hf cache. Toate opțiunile sunt descrise în ghidul despre memoria cache.
Alegerea unui model
Secțiune intitulată „Alegerea unui model”Pe Hugging Face Hub, modelele pot fi filtrate după sarcină (pentru conversație, Text Generation), după licență și după mărime. Pagina fiecărui model (model card) spune pentru ce a fost antrenat, ce limbi cunoaște, sub ce licență poate fi folosit și, de obicei, ce parametri de generare recomandă autorii. Merită citită înainte de a folosi modelul.
Pentru început, sunt potrivite modelele mici, cu sub 2 miliarde de parametri, care încap ușor în memorie. Codul din laborator funcționează la fel pentru modele mai mari. Se schimbă doar numele modelului și, după cum arată pagina despre memorie, cantitatea de memorie necesară.
Bibliografie
Secțiune intitulată „Bibliografie”- Ben Allal, L. et al. (2025). SmolLM2: When Smol Goes Big – Data-Centric Training of a Small Language Model. Preprint arXiv:2502.02737.
- Paszke, A. et al. (2019). PyTorch: An Imperative Style, High-Performance Deep Learning Library. NeurIPS 2019.
- Qwen Team (2025). Qwen3 Technical Report. Preprint arXiv:2505.09388.
- Wolf, T. et al. (2020). HuggingFace’s Transformers: State-of-the-art Natural Language Processing. EMNLP 2020.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.