Rețele neuronale de la zero
Paginile despre rețelele neuronale și despre retropropagare explică, în teorie, ce calculează un neuron, cum se măsoară eroarea și cum ajung gradienții de la eroare înapoi la fiecare pondere. În acest laborator scriem toate acestea în cod, pornind de la un singur număr. Nu folosim nicio librărie de învățare automată până la ultima pagină, unde aceeași rețea este scrisă și în PyTorch.
Primul pas este un sistem de diferențiere automată (automatic differentiation) pentru numere obișnuite: o clasă Python, Value, care ține minte din ce operații a rezultat fiecare număr și poate calcula singură gradienții prin retropropagare. Desenăm apoi, cu Graphviz, graful computațional pe care îl parcurge retropropagarea, înainte și după calculul gradienților. Din aceleași piese construim neuroni, straturi și o rețea cu mai multe straturi, pe care o antrenăm cu cod scris de mână. La final, trecem de la numere la matrice, cu NumPy, și antrenăm o rețea care recunoaște cifre scrise de mână.
Sistemul urmează ideea din micrograd, scris de Andrej Karpathy, un sistem de diferențiere automată pentru scalari, cu o mică librărie de rețele neuronale construită peste sistem, publicat cu licență MIT. Codul laboratorului este scris de la zero, cu comentarii în română, dar păstrează structura lui micrograd (Value, Neuron, Layer, MLP), ca cele două să poată fi comparate ușor. Karpathy construiește micrograd pas cu pas, în engleză, în videoclipul The spelled-out intro to neural networks and backpropagation: building micrograd.
Etapele laboratorului
Secțiune intitulată „Etapele laboratorului”- Un sistem de diferențiere automată construiește clasa
Value: operațiile, derivatele locale și metodabackward(), care parcurge graful în ordine topologică inversă. - Grafuri computaționale cu Graphviz transformă graful unei expresii în text DOT și îl desenează, înainte și după calculul gradienților, pentru o expresie, un neuron și o rețea mică.
- O rețea neuronală mică construiește neuroni, straturi și un MLP din obiecte
Valueși îl antrenează să separe două semilune de puncte. - Cifrele MNIST cu NumPy și PyTorch trece de la numere la matrice, scrie de mână retropropagarea unei rețele 784 → 128 → 10 și o antrenează pe 60.000 de cifre, apoi scrie aceeași rețea în PyTorch.
Ce rulează în browser și ce rulează local
Secțiune intitulată „Ce rulează în browser și ce rulează local”Cerințe de sistem
Secțiune intitulată „Cerințe de sistem”- Python 3.10 sau mai nou, cu pachetele
numpy,matplotlibșigraphviz. Pentru ultima secțiune, opțională, șitorch. - Graphviz: programul
dot, care desenează diagramele. Pachetul Pythongraphvizdoar îl apelează. - Spațiu pe disc: 11 MB pentru setul de date MNIST, plus pachetele Python.
- Hardware: orice procesor (CPU) obișnuit. Nu este nevoie de o placă grafică: antrenarea pe MNIST durează câteva secunde.
Pentru a urmări codul, sunt suficiente cunoștințele de bază de Python.
Pregătirea mediului de lucru
Secțiune intitulată „Pregătirea mediului de lucru”Pentru a descărca fișierele laboratorului și a instala pachetele, rulați comenzile de mai jos.
mkdir retele-de-la-zero && cd retele-de-la-zerofor f in engine.py graph.py nn.py diagrams.py moons.py mnist_data.py mnist_numpy.py mnist_torch.py requirements.txt; do curl -fsSO "https://inteligentartificiala.ro/laboratoare/retele-neuronale-de-la-zero/cod/$f"done
python3 -m venv .venvsource .venv/bin/activatepip install -r requirements.txtProgramul dot se instalează separat, cu managerul de pachete al sistemului.
brew install graphvizsudo apt install graphvizProgramul de instalare se descarcă de pe pagina oficială Graphviz. La instalare, se alege opțiunea care adaugă Graphviz în variabila PATH.
Tot laboratorul se reduce la patru comenzi, explicate pe paginile următoare.
python diagrams.py # diagramele grafurilor computaționale, în directorul imagini/python moons.py # rețeaua mică, antrenată pe două semilune de punctepython mnist_numpy.py # rețeaua pentru MNIST, scrisă cu NumPypython mnist_torch.py # aceeași rețea în PyTorch (după pip install torch)Rularea în Google Colab
Secțiune intitulată „Rularea în Google Colab”Laboratorul poate rula și în Google Colab, un serviciu Google care rulează notebookuri Jupyter în browser, fără nicio instalare pe calculatorul propriu. Notebookul laboratorului, care se deschide în Colab cu butonul de la începutul paginii, descarcă fișierele de mai sus, desenează grafurile direct sub celule și rulează, în ordine, aceleași scripturi. Colab are deja NumPy, Matplotlib și PyTorch, iar programul dot este instalat de o celulă a notebookului, dacă lipsește. Laboratorul nu are nevoie de o placă grafică.
Bibliografie
Secțiune intitulată „Bibliografie”- Baydin, A. G. et al. (2018). Automatic differentiation in machine learning: a survey. Journal of Machine Learning Research, 18(153), 1–43.
- Ellson, J. et al. (2002). Graphviz: Open Source Graph Drawing Tools. Graph Drawing 2001, Lecture Notes in Computer Science 2265, 483–484.
- Karpathy, A. (2020). micrograd. Cod sursă, GitHub. ↩︎
- Karpathy, A. (2022). The spelled-out intro to neural networks and backpropagation: building micrograd. Videoclip, YouTube. ↩︎
- LeCun, Y. et al. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278–2324.
- Rumelhart, D. E., Hinton, G. E. și Williams, R. J. (1986). Learning representations by back-propagating errors. Nature, 323(6088), 533–536.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.