Salt la conținut

Rețele neuronale de la zero

ÎncepătorLectură: 4 min

Paginile despre rețelele neuronale și despre retropropagare explică, în teorie, ce calculează un neuron, cum se măsoară eroarea și cum ajung gradienții de la eroare înapoi la fiecare pondere. În acest laborator scriem toate acestea în cod, pornind de la un singur număr. Nu folosim nicio librărie de învățare automată până la ultima pagină, unde aceeași rețea este scrisă și în PyTorch.

Primul pas este un sistem de diferențiere automată (automatic differentiation) pentru numere obișnuite: o clasă Python, Value, care ține minte din ce operații a rezultat fiecare număr și poate calcula singură gradienții prin retropropagare. Desenăm apoi, cu Graphviz, graful computațional pe care îl parcurge retropropagarea, înainte și după calculul gradienților. Din aceleași piese construim neuroni, straturi și o rețea cu mai multe straturi, pe care o antrenăm cu cod scris de mână. La final, trecem de la numere la matrice, cu NumPy, și antrenăm o rețea care recunoaște cifre scrise de mână.

Sistemul urmează ideea din micrograd, scris de Andrej Karpathy, un sistem de diferențiere automată pentru scalari, cu o mică librărie de rețele neuronale construită peste sistem, publicat cu licență MIT. Codul laboratorului este scris de la zero, cu comentarii în română, dar păstrează structura lui micrograd (Value, Neuron, Layer, MLP), ca cele două să poată fi comparate ușor. Karpathy construiește micrograd pas cu pas, în engleză, în videoclipul The spelled-out intro to neural networks and backpropagation: building micrograd.

  1. Un sistem de diferențiere automată construiește clasa Value: operațiile, derivatele locale și metoda backward(), care parcurge graful în ordine topologică inversă.
  2. Grafuri computaționale cu Graphviz transformă graful unei expresii în text DOT și îl desenează, înainte și după calculul gradienților, pentru o expresie, un neuron și o rețea mică.
  3. O rețea neuronală mică construiește neuroni, straturi și un MLP din obiecte Value și îl antrenează să separe două semilune de puncte.
  4. Cifrele MNIST cu NumPy și PyTorch trece de la numere la matrice, scrie de mână retropropagarea unei rețele 784 → 128 → 10 și o antrenează pe 60.000 de cifre, apoi scrie aceeași rețea în PyTorch.
  • Python 3.10 sau mai nou, cu pachetele numpy, matplotlib și graphviz. Pentru ultima secțiune, opțională, și torch.
  • Graphviz: programul dot, care desenează diagramele. Pachetul Python graphviz doar îl apelează.
  • Spațiu pe disc: 11 MB pentru setul de date MNIST, plus pachetele Python.
  • Hardware: orice procesor (CPU) obișnuit. Nu este nevoie de o placă grafică: antrenarea pe MNIST durează câteva secunde.

Pentru a urmări codul, sunt suficiente cunoștințele de bază de Python.

Pentru a descărca fișierele laboratorului și a instala pachetele, rulați comenzile de mai jos.

Terminal window
mkdir retele-de-la-zero && cd retele-de-la-zero
for f in engine.py graph.py nn.py diagrams.py moons.py mnist_data.py mnist_numpy.py mnist_torch.py requirements.txt; do
curl -fsSO "https://inteligentartificiala.ro/laboratoare/retele-neuronale-de-la-zero/cod/$f"
done
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

Programul dot se instalează separat, cu managerul de pachete al sistemului.

Terminal window
brew install graphviz

Tot laboratorul se reduce la patru comenzi, explicate pe paginile următoare.

Terminal window
python diagrams.py # diagramele grafurilor computaționale, în directorul imagini/
python moons.py # rețeaua mică, antrenată pe două semilune de puncte
python mnist_numpy.py # rețeaua pentru MNIST, scrisă cu NumPy
python mnist_torch.py # aceeași rețea în PyTorch (după pip install torch)

Laboratorul poate rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser, fără nicio instalare pe calculatorul propriu. Notebookul laboratorului, care se deschide în Colab cu butonul de la începutul paginii, descarcă fișierele de mai sus, desenează grafurile direct sub celule și rulează, în ordine, aceleași scripturi. Colab are deja NumPy, Matplotlib și PyTorch, iar programul dot este instalat de o celulă a notebookului, dacă lipsește. Laboratorul nu are nevoie de o placă grafică.