Învățare prin consolidare
Învățarea prin consolidare (reinforcement learning, RL) este ramura învățării automate în care un sistem învață din consecințele propriilor decizii. Nu primește răspunsul corect pentru fiecare exemplu, ca în învățarea supervizată (supervised learning), ci doar un semnal numeric care arată cât de bună a fost o decizie. Semnalul poate veni și cu întârziere. De exemplu, o mutare dintr-un joc se dovedește bună sau proastă abia la final.
Metodele din această familie au jucat table aproape de nivelul celor mai buni jucători (TD-Gammon, la începutul anilor 1990), au învățat să joace zeci de jocuri Atari direct din pixeli (DQN, 2015) și au învins un campion mondial la go (AlphaGo, 2016). Sunt folosite și în controlul roboților și, mai recent, la antrenarea modelelor de limbaj mari.
Definiție
Secțiune intitulată „Definiție”Problema are doi participanți. Agentul (agent) ia decizii, iar mediul (environment) răspunde la aceste decizii. La fiecare pas , agentul observă starea (state) și alege o acțiune (action) . Mediul trece în starea și îi dă agentului o recompensă (reward) , un număr real.
Dacă starea următoare și recompensa depind doar de starea și de acțiunea curente, nu și de ce s-a întâmplat înainte, problema este un proces de decizie Markov (Markov decision process, MDP). Majoritatea metodelor pornesc de la această formulare. O succesiune completă de stări, acțiuni și recompense, de la început până la o stare finală, se numește episod (episode).
Recompensa cumulată
Secțiune intitulată „Recompensa cumulată”Agentul nu urmărește doar recompensa imediată, ci suma recompenselor viitoare. Recompensa cumulată (return) de la pasul adună recompensele care urmează, dar cele mai îndepărtate în timp contează mai puțin, în funcție de un factor de actualizare (discount factor) cuprins între 0 și 1.
Pentru curioșiFormula recompensei cumulate
Recompensa cumulată de la pasul se calculează astfel.
unde este factorul de actualizare. Cu apropiat de 0, agentul ține cont aproape numai de recompensele imediate. Cu apropiat de 1, recompensele îndepărtate contează aproape la fel de mult. Pentru episoade de lungime finită se poate folosi și .
Strategia de decizie (Policy)
Secțiune intitulată „Strategia de decizie (Policy)”Felul în care agentul își alege acțiunile se numește strategie de decizie (policy). O strategie stocastică dă, pentru fiecare stare, o distribuție de probabilitate peste acțiunile posibile.
Scopul învățării este să găsim o strategie care maximizează recompensa cumulată așteptată, socotită de la începutul episodului.
Pentru curioșiStrategia și obiectivul învățării
unde este probabilitatea ca agentul să aleagă acțiunea în starea , este recompensa cumulată așteptată de la începutul episodului, iar este media peste episoadele generate urmând strategia .
Când strategia este o rețea neuronală cu parametrii , o notăm . Rețeaua primește starea și dă probabilitățile acțiunilor, la fel cum un model de limbaj primește un context și dă probabilitățile tokenului următor.
Funcții de valoare
Secțiune intitulată „Funcții de valoare”O funcție de valoare (value function) estimează cât de bună este o situație, adică ce recompensă cumulată poate aștepta agentul de acolo înainte, dacă urmează strategia .
este valoarea unei stări. este valoarea alegerii acțiunii în starea , după care agentul continuă să urmeze strategia . Diferența dintre cele două valori se numește avantaj (advantage).
Pentru curioșiFuncțiile de valoare și avantajul
unde este recompensa cumulată de la pasul .
Un avantaj pozitiv arată că acțiunea este mai bună decât media acțiunilor pe care strategia le-ar alege în acea stare. Avantajul apare în aproape toate metodele moderne, inclusiv în cele folosite pentru LLM-uri.
Explorare și exploatare
Secțiune intitulată „Explorare și exploatare”O strategie stocastică explorează de la sine, pentru că alege uneori și acțiuni mai puțin probabile.
Familii de metode
Secțiune intitulată „Familii de metode”Metodele bazate pe valoare (value-based) învață o funcție de valoare, de obicei , iar strategia alege acțiunea cu valoarea cea mai mare. Q-learning și DQN fac parte din această familie.
Metodele bazate pe gradientul strategiei (policy gradient) ajustează direct parametrii strategiei , în direcția care crește recompensa cumulată așteptată. Cel mai simplu algoritm de acest tip este REINFORCE.
Metodele actor-critic le combină pe cele două. Un actor (strategia) alege acțiunile, iar un critic (o funcție de valoare învățată) estimează avantajele. PPO, folosit și la antrenarea LLM-urilor, este o metodă actor-critic.
Bibliografie
Secțiune intitulată „Bibliografie”- Mnih, V. et al. (2015). Human-level control through deep reinforcement learning. Nature, 518(7540), 529–533.
- Puterman, M. L. (1994). Markov Decision Processes: Discrete Stochastic Dynamic Programming. Wiley.
- Schulman, J. et al. (2017). Proximal Policy Optimization Algorithms. Preprint arXiv:1707.06347.
- Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529(7587), 484–489.
- Sutton, R. S. și Barto, A. G. (2018). Reinforcement Learning: An Introduction (ed. a 2-a). MIT Press. ↩︎
- Tesauro, G. (1995). Temporal difference learning and TD-Gammon. Communications of the ACM, 38(3), 58–68.
- Watkins, C. J. C. H. și Dayan, P. (1992). Q-learning. Machine Learning, 8(3–4), 279–292.
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.