Salt la conținut

Memorie, dispozitive și cuantizare

IntermediarLectură: 3 min

Primul lucru care oprește rularea unui model mare pe un calculator obișnuit nu este viteza, ci memoria. Pe această pagină estimăm de câtă memorie are nevoie un model, alegem dispozitivul pe care rulează și reducem memoria necesară prin cuantizare.

Ponderile ocupă aproximativ numărul de parametri înmulțit cu numărul de octeți folosiți pentru fiecare parametru.

Tip de dateOcteți pe parametruModel de 1 miliard de parametriModel de 8 miliarde de parametri
float3244 GB32 GB
bfloat16 / float1622 GB16 GB
8 biți11 GB8 GB
4 biți0,50,5 GB4 GB

La generare, memoria crește peste valorile din tabel, pentru că se adaugă memoria cache pentru chei și valori, care crește cu lungimea contextului, și rezultatele intermediare ale calculului. Pagina despre arhitectura Transformer arată de unde vin parametrii unui model.

Metoda get_memory_footprint spune cât ocupă ponderile unui model deja încărcat.

import torch
from transformers import AutoModelForCausalLM
model_id = "HuggingFaceTB/SmolLM2-360M-Instruct"
for dtype in [torch.float32, torch.bfloat16]:
model = AutoModelForCausalLM.from_pretrained(model_id, dtype=dtype)
print(f"{str(dtype):15s} {model.get_memory_footprint() / 1e6:6.0f} MB")
torch.float32 1447 MB
torch.bfloat16 724 MB

Rezultatele se potrivesc cu tabelul: 362 de milioane de parametri, înmulțiți cu 4 octeți, respectiv cu 2 octeți. Modelele moderne sunt publicate de obicei în bfloat16, iar dtype="auto" le păstrează așa. Începând cu Transformers 5, aceasta este și valoarea implicită. În versiunile mai vechi, fără argumentul dtype, ponderile erau încărcate în float32, deci ocupau de două ori mai multă memorie.

Argumentul device_map="auto", folosit în toate exemplele, pune modelul pe cel mai bun dispozitiv disponibil: placa grafică NVIDIA (cuda), procesorul grafic al unui cip Apple Silicon (mps) sau, dacă nu există niciunul, procesorul (cpu). Dacă modelul nu încape în memoria plăcii grafice, accelerate împarte straturile între placa grafică, memoria RAM și, la nevoie, discul. Modelul rulează atunci, dar mult mai încet. Mecanismul este descris în documentația Accelerate.

Dispozitivul poate fi ales și explicit, de exemplu cu device_map="cuda" sau device_map="cpu". Datele de intrare trebuie să ajungă pe același dispozitiv ca modelul, de aceea exemplele folosesc .to(model.device).

Cuantizarea (quantization) stochează ponderile cu mai puțini biți, de exemplu pe 4 biți în loc de 16. Modelul ocupă de câteva ori mai puțină memorie și pierde, de obicei, puțin din calitate. Cea mai simplă metodă în Transformers folosește librăria bitsandbytes, care cuantizează ponderile chiar în momentul încărcării. Pentru a o instala, rulați:

Terminal window
pip install bitsandbytes

Codul de mai jos încarcă același model pe 4 biți, în formatul NF4.

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
quantization = BitsAndBytesConfig(
load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16
)
model = AutoModelForCausalLM.from_pretrained(
"HuggingFaceTB/SmolLM2-360M-Instruct", quantization_config=quantization, device_map="auto"
)
print(f"4 biți (NF4): {model.get_memory_footprint() / 1e6:.0f} MB")
4 biți (NF4): 252 MB

Memoria a scăzut de la 724 MB la 252 MB. Nu ajunge la un sfert, pentru că unele părți ale modelului, de exemplu reprezentările vectoriale ale tokenurilor (embeddings), rămân în precizia inițială. Restul codului, cu generate și șablonul de chat, rămâne neschimbat.

Transformers este alegerea potrivită pentru a înțelege și a modifica ce se întâmplă în model, fiindcă totul este cod Python și PyTorch. Pentru a folosi zilnic un model local, există instrumente optimizate special pentru inferență.

  • llama.cpp: inferență în C/C++, cu modele cuantizate în formatul GGUF, rapidă și pe procesor.
  • Ollama: o aplicație care descarcă și rulează modele cu o singură comandă și le oferă printr-o interfață de programare (API) locală.
  • MLX LM: rularea modelelor pe cipurile Apple Silicon, cu librăria MLX a companiei Apple.