Salt la conținut

Generarea imaginilor

IntermediarLectură: 9 min

Scriem „o pisică portocalie care doarme pe o bancă în Cișmigiu, pictată în acuarelă”, iar în câteva secunde primim o imagine care nu a existat până atunci. Cele mai multe generatoare de imagini, precum Stable Diffusion, FLUX, Imagen sau DALL·E 3, sunt construite pe un model de difuzie. La modelul de difuzie se adaugă trei piese: o comprimare a imaginii într-un spațiu mult mai mic, un model care înțelege textul și un mecanism care obligă generarea să urmeze textul.

O imagine color de 1024 × 1024 pixeli are 1024×1024×3=3.145.7281024 \times 1024 \times 3 = 3.145.728 de valori. Este foarte costisitor să rulăm o rețea mare peste toate aceste valori de zeci de ori, la fiecare pas al procesului invers. În plus, multe dintre aceste valori descriu detalii fine, pe care ochiul abia le observă.

Soluția a fost propusă în 2022 de Robin Rombach și colegii săi, de la universitățile din München și Heidelberg, sub numele de difuzie latentă (latent diffusion). Un autoencoder (autoencoder), adică o rețea formată dintr-un codificator și un decodor, este antrenat separat să comprime imaginea într-o reprezentare mult mai mică și apoi să o reconstruiască cât mai fidel. Reprezentarea comprimată se numește reprezentare latentă (latent representation), iar spațiul în care se află, spațiu latent (latent space). Autoencoderul folosit este de obicei un autoencoder variațional (variational autoencoder, VAE).

La Stable Diffusion 1.x, o imagine de 512×512×3=786.432512 \times 512 \times 3 = 786.432 de valori devine o reprezentare latentă de 64×64×4=16.38464 \times 64 \times 4 = 16.384 de valori, de 48 de ori mai mică. Modelul de difuzie lucrează doar în acest spațiu latent. La final, decodorul transformă reprezentarea latentă curată într-o imagine. Stable Diffusion a fost lansat în august 2022 de Stability AI, împreună cu grupul de cercetare al lui Rombach și cu Runway, iar ponderile modelului au fost publicate pentru oricine. A fost primul generator de imagini de calitate care putea rula pe o placă grafică obișnuită, de acasă.

Generarea unei imagini prin difuzie latentăPromptul trece printr-un codificator de text, care produce câte un vector pentru fiecare token. În spațiul latent, de 64 pe 64 pe 4 valori, generarea pornește de la zgomot aleator. Rețeaua de eliminare a zgomotului, un U-Net sau un Transformer de difuzie, primește vectorii textului prin atenție încrucișată și curăță reprezentarea latentă pas cu pas, de 20 până la 50 de ori. După ultimul pas, decodorul VAE transformă reprezentarea latentă într-o imagine de 512 pe 512 pixeli.Promptul„o pisică pe o bancă”Codificator de text(CLIP, T5)Spațiul latent (64 × 64 × 4)ZgomotaleatorLatent cuzgomot (pasul t)Eliminarea zgomotului(U-Net sau DiT)Decodor VAE64 × 64 → 512 × 512Imagine nouăatenție încrucișatăpasul următor, de 20–50 de oridupă ultimul pas
Modelul de difuzie lucrează doar în spațiul latent, de 48 de ori mai mic decât imaginea. Pixelii apar abia la final, în decodor.

Ca imaginea să urmeze descrierea, rețeaua care elimină zgomotul primește, pe lângă xtx_t și tt, și textul. Textul trece mai întâi printr-un codificator de text (text encoder), care îl transformă într-un șir de vectori, câte unul pentru fiecare token, la fel ca în modelele de limbaj.

Stable Diffusion 1.x folosește codificatorul de text al lui CLIP, un model publicat de OpenAI în 2021. CLIP a fost antrenat pe 400 de milioane de perechi de imagini și descrieri să aducă o imagine și descrierea corespunzătoare în puncte apropiate ale aceluiași spațiu vectorial. Imagen (Google, 2022) a arătat că un codificator luat dintr-un model de limbaj antrenat doar pe text, T5-XXL, înțelege mai bine descrierile lungi și complicate, iar creșterea acestui codificator îmbunătățește imaginile mai mult decât creșterea modelului de difuzie. Stable Diffusion 3 folosește ambele tipuri de codificatoare.

Legătura dintre text și imagine se face prin atenție încrucișată (cross-attention), o variantă a mecanismului de atenție în care interogările vin dintr-o secvență, iar cheile și valorile din alta. Aici, interogările vin din imagine, iar cheile și valorile din text.

Pentru curioșiFormula atenției încrucișate
Attention⁡(Q,K,V)=softmax⁡(QK⊤dk)V,Q=himgWQ,K=htextWK,V=htextWV\operatorname{Attention}(Q, K, V) = \operatorname{softmax}\left(\frac{Q K^\top}{\sqrt{d_k}}\right) V, \qquad Q = h_{\text{img}} W_Q, \quad K = h_{\text{text}} W_K, \quad V = h_{\text{text}} W_V

Interogările QQ vin din reprezentarea imaginii, himgh_{\text{img}}, iar cheile KK și valorile VV vin din vectorii textului, htexth_{\text{text}}.

Fiecare zonă a imaginii caută astfel în text cuvintele care o privesc. Zona în care apare pisica se uită mai ales la „pisică” și la „portocalie”, iar fundalul la „bancă” și la „Cișmigiu”.

Primele versiuni Stable Diffusion folosesc un U-Net cu aproximativ 860 de milioane de parametri. În 2023, William Peebles și Saining Xie au propus Transformerul de difuzie (diffusion transformer, DiT). Reprezentarea latentă este tăiată în petice (patches) mici, de exemplu de 2 × 2, fiecare petic devine un token, iar tokenurile trec printr-un Transformer asemănător cu cel al modelelor de limbaj. Ca la modelele de limbaj, calitatea crește previzibil cu dimensiunea modelului și cu puterea de calcul folosită la antrenare.

Stable Diffusion 3 (Stability AI, 2024) și FLUX.1 (Black Forest Labs, 2024, 12 miliarde de parametri) folosesc astfel de transformere, antrenate prin potrivirea fluxului. În aceste transformere, tokenurile textului și peticele imaginii trec împreună prin aceleași straturi de atenție, așa că textul și imaginea se influențează reciproc la fiecare strat.

O rețea condiționată de text urmează descrierea doar vag. Soluția folosită de aproape toate generatoarele este ghidarea fără clasificator (classifier-free guidance, CFG), propusă de Jonathan Ho și Tim Salimans în 2021. La antrenare, textul este înlocuit cu un text gol într-o mică parte din exemple (de obicei 10–20%), așa că aceeași rețea învață să elimine zgomotul și cu text, și fără. La generare, rețeaua este rulată de două ori la fiecare pas, iar cele două estimări ale zgomotului se combină. Diferența dintre cele două estimări arată ce schimbă textul în imagine, iar ghidarea o înmulțește cu scala de ghidare (guidance scale), notată ww.

Pentru curioșiFormula ghidării fără clasificator
ε~=εθ(xt,t,∅)+w(εθ(xt,t,c)−εθ(xt,t,∅))\tilde\varepsilon = \varepsilon_\theta(x_t, t, \varnothing) + w \left( \varepsilon_\theta(x_t, t, c) - \varepsilon_\theta(x_t, t, \varnothing) \right)

Aici cc este textul, ∅\varnothing este textul gol, iar ww este scala de ghidare.

O valoare w>1w > 1 amplifică schimbarea adusă de text. Pentru Stable Diffusion, valoarea implicită este w=7,5w = 7{,}5. O valoare prea mică duce la imagini care ignoră o parte din descriere, iar una prea mare la culori exagerate și la un aspect artificial. Pentru că rețeaua rulează de două ori, ghidarea dublează și costul fiecărui pas.

Promptul negativ (negative prompt) folosește același mecanism. Textul gol ∅\varnothing este înlocuit cu o descriere a ceea ce nu vrem să apară, de exemplu „neclar, text, degete în plus”, iar generarea este împinsă în direcția opusă acestei descrieri. Laboratorul despre difuzie scrie formula ghidării în Python, pentru Stable Diffusion 1.5, și compară imaginile obținute cu mai multe valori ale scalei.

Același model poate modifica o imagine existentă, nu doar să creeze una nouă.

  • De la imagine la imagine (image-to-image): imaginea existentă este trecută prin procesul direct doar până la un pas intermediar, iar procesul invers pornește de acolo, cu o descriere nouă. Metoda a fost publicată în 2021 sub numele SDEdit. Parametrul numit de obicei intensitate (strength) alege pasul de pornire. La o intensitate de 0,3 se schimbă doar detaliile, iar la 0,8 din imaginea inițială rămân doar compoziția și culorile principale.
  • Completarea unei zone (inpainting): o mască arată ce zonă trebuie regenerată, iar restul imaginii este păstrat neschimbat la fiecare pas. Așa se șterge un obiect dintr-o fotografie sau se adaugă unul nou.
  • Controlul structurii: ControlNet (2023) îi dă modelului o intrare suplimentară, de exemplu conturul unui desen, poziția corpului unei persoane sau o hartă de adâncime, pe care imaginea generată o respectă.
  • Personalizarea: metode precum DreamBooth (Google, 2022) sau ajustarea fină cu LoRA învață modelul o persoană, un obiect sau un stil nou din câteva fotografii, de la 3–5 până la câteva zeci. Aceeași tehnică îi permite oricui să genereze imagini false cu o persoană reală, pornind de la fotografiile ei publice.

Difuzia nu este singura cale. Primul DALL·E (OpenAI, 2021) genera imaginile ca pe un text: imaginea era împărțită în tokenuri, iar un Transformer le genera unul după altul. DALL·E 2 (2022) a trecut la difuzie. În 2025, OpenAI a revenit la generarea autoregresivă. Generatorul de imagini bazat pe GPT-4o este descris de companie ca un model autoregresiv integrat direct în modelul de limbaj, nu ca un model de difuzie separat. OpenAI pune pe seama acestei integrări faptul că modelul urmează mai bine instrucțiunile complicate, folosește contextul conversației și scrie mai corect textul din imagini.

Pentru multe sisteme comerciale, de exemplu cele din familia Gemini, arhitectura exactă nu este publică. Combinațiile sunt frecvente: un model de limbaj planifică imaginea, iar un model de difuzie îi desenează detaliile.

  • Numărarea și pozițiile: o descriere precum „trei mere la stânga unei căni albastre” iese adesea greșit, cu patru mere sau cu cana în altă parte.
  • Textul din imagini: multă vreme, literele generate au fost deformate. Modelele recente scriu mult mai bine, dar pot greși la cuvintele lungi și la diacritice precum „ș” și „ț”.
  • Prejudecățile (bias): modelele reproduc stereotipurile din datele de antrenare. Fără alte detalii în descriere, „un director” sau „un medic” apar cel mai des ca bărbați, iar „o asistentă medicală” ca femeie.
  • Drepturile de autor: modelele sunt antrenate pe miliarde de imagini adunate de pe internet. Primele versiuni Stable Diffusion au fost antrenate pe părți din LAION-5B, un set de 5,85 miliarde de perechi de imagini și descrieri. Artiști ale căror lucrări au ajuns în date fără acordul lor și agenții foto precum Getty Images au dat în judecată companiile care dezvoltă astfel de modele.

Semnele vizuale cunoscute, precum mâinile cu șase degete sau textul fără sens, sunt tot mai rare. Unele pot apărea încă:

  • detalii care nu se potrivesc unele cu altele, de exemplu cercei diferiți, ochelari care se contopesc cu părul, umbre în direcții diferite sau reflexii care nu corespund scenei;
  • obiecte din fundal care se topesc unele în altele sau se termină brusc și inscripții fără sens pe firme și plăcuțe;
  • o piele perfect netedă și o lumină de studio în locuri în care nu ar avea cum să existe.

Mai sigur decât semnele vizuale este contextul. Contează cine a publicat imaginea și unde a apărut prima dată. O căutare inversă de imagini, de exemplu cu Google Lens sau TinEye, arată adesea sursa originală. Un eveniment real și important apare la mai multe surse independente, precum agențiile de presă și instituțiile implicate. O singură imagine spectaculoasă, fără nicio altă confirmare, este un semnal de alarmă.

Există și metode tehnice de a urmări proveniența (provenance) unei imagini:

  • C2PA (Coalition for Content Provenance and Authenticity) este un standard susținut de Adobe, Microsoft, Google, OpenAI și alte companii. Imaginea primește metadate semnate digital, numite Content Credentials, care spun cum a fost creată și modificată. Metadatele se pierd însă ușor, de exemplu la o captură de ecran sau când o rețea de socializare recomprimă imaginea.
  • Filigranele digitale invizibile (invisible watermarks), precum SynthID de la Google DeepMind, sunt ascunse chiar în pixeli și rezistă, până la un punct, la recomprimare, decupare și schimbarea culorilor. Pot fi verificate doar pentru imaginile generate de serviciile care le aplică.
  • Detectoarele automate, care promit să spună dacă o imagine este generată, greșesc în ambele direcții. Pot declara generată o fotografie reală și pot rata o imagine generată, mai ales după ce a fost recomprimată.