Videouri
Episoadele seriei video a proiectului, în limba română. Fiecare episod are aici o pagină cu playerul, capitolele, codul de la fiecare pas, acolo unde există, și transcrierea completă. Paginile documentației le includ acolo unde explică aceleași idei.
11 episoade · canalul de YouTube
3:00Video
Despre proiectul inteligențArtificială.ro
Ce este InteligentArtificiala.ro, cum arată documentația și laboratoarele, și despre ce sunt videourile.
12:28Episodul 10
Învățare prin consolidare (reinforcement learning) cu GRPO
Modelul scrie grupuri de povești, primește o recompensă pentru fiecare și învață din propriile încercări, cu GRPO și o penalizare KL față de modelul de referință.
12:26Episodul 9
Optimizarea directă a preferințelor (DPO) pe un GPT mic
Măsurăm cât de bine urmează modelul o cerere, scriem perechi de povești preferate și respinse și antrenăm modelul cu DPO, față de o copie înghețată.
12:04Episodul 8
Ajustarea fină supervizată (supervised fine-tuning) a unui GPT mic
Modelul preantrenat învață în zece minute să scrie povestea cerută de o instrucțiune, cu pierderea calculată doar pe poveste.
12:09Episodul 7
Generarea textului (sampling) cu temperatură și top-k
Modelul preantrenat scrie povești token cu token, cu temperatură și top-k, de la modelul neantrenat la cel antrenat, apoi vedem la ce se uită capetele de atenție.
11:17Episodul 6
Preantrenarea (pretraining) unui GPT de la zero
Antrenăm modelul GPT să prezică următorul token din povești, cu AdamW, încălzire și scădere după cosinus, limitarea gradientului și un buget de zece minute.
11:24Episodul 5
Modelul GPT (Transformer) de la zero, în PyTorch
Asamblăm în PyTorch un Transformer doar cu decodor, cu GELU, blocuri cu pre-normalizare, ponderi legate și 14,6 milioane de parametri, apoi verificăm pierderea de la început.
12:02Episodul 4
Mecanismul de atenție (attention) pas cu pas
Mecanismul de atenție desenat pas cu pas, apoi scris de mână în PyTorch, de la interogări, chei și valori la masca cauzală și la atenția cu șase capete a modelului GPT.
11:05Episodul 3
Tokenizarea (tokenization) pentru un GPT de la zero
Începem un model de limbaj de tip GPT de la zero, cu poveștile TinyStories, un tokenizator la nivel de cuvânt scris în Python, un vocabular de 10.000 de tokenuri și fișierele cu tokenuri.
34:12Episodul 2
Rețea neuronală (neural network) de la zero, până la MNIST
Din sistemul de diferențiere automată construim o rețea neuronală, o antrenăm pe două semilune, apoi scriem cu NumPy și cu PyTorch o rețea care recunoaște cifrele MNIST.
27:21Episodul 1
Retropropagarea (backpropagation) de la zero, în Python
Un sistem de diferențiere automată scris de la zero în Python, cu regula lanțului, grafuri computaționale desenate cu Graphviz și aceleași calcule în PyTorch.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.