Memorie, dispozitive și cuantizare
Primul lucru care oprește rularea unui model mare pe un calculator obișnuit nu este viteza, ci memoria. Pe această pagină estimăm de câtă memorie are nevoie un model, alegem dispozitivul pe care rulează și reducem memoria necesară prin cuantizare.
De câtă memorie are nevoie un model
Secțiune intitulată „De câtă memorie are nevoie un model”Ponderile ocupă aproximativ numărul de parametri înmulțit cu numărul de octeți folosiți pentru fiecare parametru.
| Tip de date | Octeți pe parametru | Model de 1 miliard de parametri | Model de 8 miliarde de parametri |
|---|---|---|---|
float32 | 4 | 4 GB | 32 GB |
bfloat16 / float16 | 2 | 2 GB | 16 GB |
| 8 biți | 1 | 1 GB | 8 GB |
| 4 biți | 0,5 | 0,5 GB | 4 GB |
La generare, memoria crește peste valorile din tabel, pentru că se adaugă memoria cache pentru chei și valori, care crește cu lungimea contextului, și rezultatele intermediare ale calculului. Pagina despre arhitectura Transformer arată de unde vin parametrii unui model.
Metoda get_memory_footprint spune cât ocupă ponderile unui model deja încărcat.
import torchfrom transformers import AutoModelForCausalLM
model_id = "HuggingFaceTB/SmolLM2-360M-Instruct"for dtype in [torch.float32, torch.bfloat16]: model = AutoModelForCausalLM.from_pretrained(model_id, dtype=dtype) print(f"{str(dtype):15s} {model.get_memory_footprint() / 1e6:6.0f} MB")torch.float32 1447 MBtorch.bfloat16 724 MBRezultatele se potrivesc cu tabelul: 362 de milioane de parametri, înmulțiți cu 4 octeți, respectiv cu 2 octeți. Modelele moderne sunt publicate de obicei în bfloat16, iar dtype="auto" le păstrează așa. Începând cu Transformers 5, aceasta este și valoarea implicită. În versiunile mai vechi, fără argumentul dtype, ponderile erau încărcate în float32, deci ocupau de două ori mai multă memorie.
Alegerea dispozitivului
Secțiune intitulată „Alegerea dispozitivului”Argumentul device_map="auto", folosit în toate exemplele, pune modelul pe cel mai bun dispozitiv disponibil: placa grafică NVIDIA (cuda), procesorul grafic al unui cip Apple Silicon (mps) sau, dacă nu există niciunul, procesorul (cpu). Dacă modelul nu încape în memoria plăcii grafice, accelerate împarte straturile între placa grafică, memoria RAM și, la nevoie, discul. Modelul rulează atunci, dar mult mai încet. Mecanismul este descris în documentația Accelerate.
Dispozitivul poate fi ales și explicit, de exemplu cu device_map="cuda" sau device_map="cpu". Datele de intrare trebuie să ajungă pe același dispozitiv ca modelul, de aceea exemplele folosesc .to(model.device).
Cuantizarea
Secțiune intitulată „Cuantizarea”Cuantizarea (quantization) stochează ponderile cu mai puțini biți, de exemplu pe 4 biți în loc de 16. Modelul ocupă de câteva ori mai puțină memorie și pierde, de obicei, puțin din calitate. Cea mai simplă metodă în Transformers folosește librăria bitsandbytes, care cuantizează ponderile chiar în momentul încărcării. Pentru a o instala, rulați:
pip install bitsandbytesCodul de mai jos încarcă același model pe 4 biți, în formatul NF4.
import torchfrom transformers import AutoModelForCausalLM, BitsAndBytesConfig
quantization = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype=torch.bfloat16)model = AutoModelForCausalLM.from_pretrained( "HuggingFaceTB/SmolLM2-360M-Instruct", quantization_config=quantization, device_map="auto")print(f"4 biți (NF4): {model.get_memory_footprint() / 1e6:.0f} MB")4 biți (NF4): 252 MBMemoria a scăzut de la 724 MB la 252 MB. Nu ajunge la un sfert, pentru că unele părți ale modelului, de exemplu reprezentările vectoriale ale tokenurilor (embeddings), rămân în precizia inițială. Restul codului, cu generate și șablonul de chat, rămâne neschimbat.
Alte instrumente pentru rulare locală
Secțiune intitulată „Alte instrumente pentru rulare locală”Transformers este alegerea potrivită pentru a înțelege și a modifica ce se întâmplă în model, fiindcă totul este cod Python și PyTorch. Pentru a folosi zilnic un model local, există instrumente optimizate special pentru inferență.
- llama.cpp: inferență în C/C++, cu modele cuantizate în formatul GGUF, rapidă și pe procesor.
- Ollama: o aplicație care descarcă și rulează modele cu o singură comandă și le oferă printr-o interfață de programare (API) locală.
- MLX LM: rularea modelelor pe cipurile Apple Silicon, cu librăria MLX a companiei Apple.
Bibliografie
Secțiune intitulată „Bibliografie”- Dettmers, T. et al. (2022). LLM.int8(): 8-bit Matrix Multiplication for Transformers at Scale. NeurIPS 2022.
- Dettmers, T. et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023.
- Gerganov, G. (2023). llama.cpp. Cod sursă, GitHub. ↩︎
- Kalamkar, D. et al. (2019). A Study of BFLOAT16 for Deep Learning Training. Preprint arXiv:1905.12322.
- Micikevicius, P. et al. (2018). Mixed Precision Training. ICLR 2018.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.