Salt la conținut

Generarea vocii

IntermediarLectură: 8 min

În câțiva ani, vocile sintetice au trecut de la tonul metalic al primelor aplicații de navigație la voci greu de deosebit de cele reale. Sinteza vorbirii (text-to-speech, TTS) citește cu voce tare un text, cu intonație și pauze firești. Asistenții vocali, precum cei din ChatGPT sau Gemini, ascultă întrebarea și răspund vorbind, aproape fără pauză. Clonarea vocii (voice cloning) imită vocea unei persoane anume, pornind de la o înregistrare de câteva secunde. Această ultimă posibilitate a dat naștere și unor înșelătorii noi, descrise la finalul paginii.

Un microfon măsoară presiunea aerului de multe ori pe secundă. Fiecare măsurătoare este un eșantion (sample), iar numărul de măsurători pe secundă este rata de eșantionare (sample rate). Telefonia clasică folosește 8.000 de eșantioane pe secundă (8 kHz), un CD folosește 44.100, iar modelele de sinteză a vorbirii lucrează de obicei la 16.000–24.000. Șirul de eșantioane se numește formă de undă (waveform).

Aici se află principala dificultate. O propoziție de zece cuvinte are câteva zeci de tokenuri de text, dar rostită în trei secunde, la 24 kHz, devine un șir de 72.000 de numere. Modelul trebuie să controleze precis toate aceste valori, iar urechea observă imediat un zgomot de fond, un sunet metalic sau o intonație nefirească.

De aceea, sunetul este adesea transformat mai întâi într-o spectrogramă (spectrogram). Semnalul este tăiat în ferestre scurte, de câteva zeci de milisecunde, iar pentru fiecare fereastră se calculează, cu transformata Fourier, câtă energie are sunetul la fiecare frecvență. Rezultatul seamănă cu o imagine: pe orizontală este timpul, pe verticală frecvența, iar intensitatea fiecărui punct arată energia.

Spectrograma mel (mel spectrogram) grupează frecvențele în benzi, de obicei 80, distribuite după felul în care le percepe urechea. Benzile sunt înguste la frecvențele joase, unde auzim diferențe mici, și largi la cele înalte. O secundă de vorbire devine astfel aproximativ 80–100 de coloane de câte 80 de valori, cu mult mai puțin decât 24.000 de eșantioane.

Sinteza vorbirii: lanțul clasic și tokenurile audioSus, lanțul clasic: textul normalizat intră într-un model acustic, care produce o spectrogramă mel, iar vocoderul transformă spectrograma în forma de undă, cu 24.000 de eșantioane pe secundă. Jos, abordarea cu tokenuri: o înregistrare scurtă a vocii țintă este transformată de codecul audio în tokenuri, un model de limbaj generează tokenurile audio ale textului rostit cu acea voce, iar decodorul codecului le transformă înapoi în sunet.Lanțul clasic (2017–2022)TextnormalizatModel acustic(Tacotron 2)Spectrogramămel(80 de benzi)Vocoder(HiFi-GAN,DiffWave)Formă de undă(24.000 / s)Tokenuri audio (din 2023)Text3 s dinvocea țintăCodificatorcodecModel delimbaj(VALL-E)Decodorcodec(75 cadre / s)Vorbire cuvocea țintă
Sus, sunetul este reconstruit dintr-o spectrogramă. Jos, sunetul devine un șir de tokenuri, generat ca un text.

Până în jurul anului 2022, cele mai multe sisteme de sinteză a vorbirii aveau două etape. Modelul acustic (acoustic model) transforma textul într-o spectrogramă mel. Vocoderul (vocoder) transforma apoi spectrograma într-o formă de undă, completând detaliile pe care spectrograma nu le păstrează.

  • WaveNet (DeepMind, 2016) a fost primul model care a produs o voce cu adevărat naturală. Genera forma de undă autoregresiv, câte un eșantion pe rând, deci zeci de mii de pași pentru o singură secundă de sunet, ceea ce l-a făcut la început foarte lent.
  • Tacotron 2 (Google, 2017) producea spectrograma mel din text, iar un WaveNet o transforma în sunet. Ascultătorii i-au dat note de naturalețe aproape egale cu cele ale înregistrărilor reale: 4,53 față de 4,58, pe o scară de la 1 la 5.
  • Vocoderele mai noi generează toată forma de undă deodată. HiFi-GAN (2020) folosește o rețea generativă adversarială, iar WaveGrad și DiffWave (ambele din 2020) au fost primele vocodere bazate pe difuzie. Grad-TTS (2021) a aplicat difuzia și modelului acustic, generând spectrograma mel pornind de la zgomot.

Ideea care a schimbat domeniul în 2023 a fost ca sunetul să fie tratat ca un text. Codecurile audio neuronale (neural audio codecs), precum SoundStream (Google, 2021) și EnCodec (Meta, 2022), sunt autoencodere care comprimă sunetul într-un șir de simboluri dintr-un vocabular fix. EnCodec, de exemplu, descrie o secundă de sunet la 24 kHz prin 75 de cadre, iar fiecare cadru prin mai multe coduri: 8, la calitatea de 6 kbps, fiecare ales dintr-un vocabular de 1.024. Din 24.000 de numere pe secundă rămân 600 de tokenuri, iar decodorul codecului le poate transforma înapoi în sunet.

Odată ce sunetul devine un șir de tokenuri, se pot folosi aceleași tehnici ca la modelele de limbaj. VALL-E (Microsoft, 2023) este un model de limbaj care primește textul și o înregistrare de 3 secunde a unei voci, transformată în tokenuri, apoi generează tokenurile audio ale textului rostit cu acea voce. Antrenat pe 60.000 de ore de vorbire în engleză, VALL-E păstra nu doar timbrul vocii, ci și emoția și chiar zgomotul de fond din înregistrarea de pornire.

Asistenții vocali recenți merg mai departe. GPT-4o (OpenAI, 2024) lucrează direct cu sunetul: înțelege întrebarea rostită și răspunde vorbind, cu același model, fără să transforme vorbirea în text la mijloc. OpenAI a raportat un timp mediu de răspuns de aproximativ 320 de milisecunde, apropiat de pauza firească dintr-o conversație între oameni.

Difuzia și potrivirea fluxului se folosesc și pentru vorbire, de obicei pe spectrograme mel, care seamănă cu niște imagini.

  • Voicebox (Meta, 2023), antrenat pe peste 50.000 de ore de vorbire, folosește potrivirea fluxului. Poate rosti un text nou cu o voce dată, poate înlocui un singur cuvânt dintr-o înregistrare sau poate elimina zgomotul de fond. Meta nu a publicat modelul, invocând riscul de folosire abuzivă.
  • F5-TTS (2024) este un model cu ponderi deschise care combină potrivirea fluxului cu un Transformer de difuzie și clonează o voce din câteva secunde de înregistrare.
  • Sistemele combinate, precum CosyVoice (Alibaba, 2024), folosesc un model de limbaj care decide ce se spune și cum (conținutul, ritmul, intonația), sub formă de tokenuri, iar un model antrenat prin potrivirea fluxului transformă aceste tokenuri într-un sunet de calitate.

Muzica urmează aceleași idei. Stable Audio (Stability AI, 2023) este un model de difuzie latentă pentru sunet, iar serviciile comerciale precum Suno și Udio generează cântece întregi, cu voce și instrumente, pornind de la o descriere. Arhitectura acestor servicii nu este publică. Laboratorul despre difuzie generează sunete dintr-o descriere cu AudioLDM 2, un model de difuzie latentă pentru sunet, și arată spectrograma mel din care vocoderul face sunetul.

Drumul invers, de la sunet la text, se numește recunoașterea vorbirii (automatic speech recognition, ASR). Whisper (OpenAI, 2022) este un Transformer antrenat pe 680.000 de ore de înregistrări în aproape 100 de limbi, printre care și româna. Ponderile lui Whisper sunt publice, iar modelul stă în spatele multor aplicații de subtitrare și de transcriere a ședințelor. Un asistent vocal combină de obicei ambele direcții: recunoașterea vorbirii, un model de limbaj și sinteza vorbirii, sau un singur model care le face pe toate.

Pentru a clona o voce, modelele moderne nu mai au nevoie să fie antrenate pe persoana respectivă. Primesc o înregistrare scurtă a vocii țintă ca parte a intrării, așa cum VALL-E primea cele 3 secunde, și continuă cu aceeași voce. Cu o ajustare fină pe câteva minute sau ore de înregistrări, imitația devine și mai fidelă. În 2024, OpenAI a prezentat Voice Engine, care clona o voce dintr-o înregistrare de 15 secunde, dar a limitat accesul la acest sistem din cauza riscurilor, mai ales într-un an cu multe alegeri.

Clonarea are și folosiri legitime. Persoanele care își pierd vocea din cauza unei boli își pot păstra vocea proprie, filmele și cursurile pot fi dublate în alte limbi cu vocea autorului, iar cărțile pot fi citite cu voce tare pentru persoanele cu deficiențe de vedere. Problema este că vocea oricui poate fi luată din câteva secunde dintr-un clip publicat pe o rețea de socializare, dintr-un mesaj vocal sau dintr-o convorbire înregistrată.

Detectarea vocilor clonate este și mai grea decât cea a imaginilor generate. Există filigrane audio, precum SynthID pentru sunet (Google DeepMind) sau AudioSeal (Meta, 2024), dar aceste filigrane apar doar în sunetele generate de serviciile care le aplică.