Salt la conținut

Învățare prin consolidare

IntermediarLectură: 4 min

Învățarea prin consolidare (reinforcement learning, RL) este ramura învățării automate în care un sistem învață din consecințele propriilor decizii. Nu primește răspunsul corect pentru fiecare exemplu, ca în învățarea supervizată (supervised learning), ci doar un semnal numeric care arată cât de bună a fost o decizie. Semnalul poate veni și cu întârziere. De exemplu, o mutare dintr-un joc se dovedește bună sau proastă abia la final.

Metodele din această familie au jucat table aproape de nivelul celor mai buni jucători (TD-Gammon, la începutul anilor 1990), au învățat să joace zeci de jocuri Atari direct din pixeli (DQN, 2015) și au învins un campion mondial la go (AlphaGo, 2016). Sunt folosite și în controlul roboților și, mai recent, la antrenarea modelelor de limbaj mari.

Problema are doi participanți. Agentul (agent) ia decizii, iar mediul (environment) răspunde la aceste decizii. La fiecare pas tt, agentul observă starea (state) sts_t și alege o acțiune (action) ata_t. Mediul trece în starea st+1s_{t+1} și îi dă agentului o recompensă (reward) rt+1r_{t+1}, un număr real.

Interacțiunea dintre agent și mediuLa pasul t, agentul alege o acțiune după strategia sa. Mediul răspunde cu starea următoare și cu o recompensă, pe care agentul le folosește la pasul următor.Agentstrategia π(a | s)Mediuacțiuneaaₜstarea sₜ₊₁recompensa rₜ₊₁
La fiecare pas, agentul acționează, iar mediul răspunde cu o stare nouă și cu o recompensă.

Dacă starea următoare și recompensa depind doar de starea și de acțiunea curente, nu și de ce s-a întâmplat înainte, problema este un proces de decizie Markov (Markov decision process, MDP). Majoritatea metodelor pornesc de la această formulare. O succesiune completă de stări, acțiuni și recompense, de la început până la o stare finală, se numește episod (episode).

Agentul nu urmărește doar recompensa imediată, ci suma recompenselor viitoare. Recompensa cumulată (return) de la pasul tt adună recompensele care urmează, dar cele mai îndepărtate în timp contează mai puțin, în funcție de un factor de actualizare (discount factor) cuprins între 0 și 1.

Pentru curioșiFormula recompensei cumulate

Recompensa cumulată de la pasul tt se calculează astfel.

Gt=rt+1+γ rt+2+γ2rt+3+…=∑k=0∞γkrt+k+1G_t = r_{t+1} + \gamma\, r_{t+2} + \gamma^2 r_{t+3} + \ldots = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}

unde γ∈[0,1]\gamma \in [0, 1] este factorul de actualizare. Cu γ\gamma apropiat de 0, agentul ține cont aproape numai de recompensele imediate. Cu γ\gamma apropiat de 1, recompensele îndepărtate contează aproape la fel de mult. Pentru episoade de lungime finită se poate folosi și γ=1\gamma = 1.

Felul în care agentul își alege acțiunile se numește strategie de decizie (policy). O strategie stocastică dă, pentru fiecare stare, o distribuție de probabilitate peste acțiunile posibile.

Scopul învățării este să găsim o strategie care maximizează recompensa cumulată așteptată, socotită de la începutul episodului.

Pentru curioșiStrategia și obiectivul învățării
π(a∣s)=P(at=a∣st=s)\pi(a \mid s) = P(a_t = a \mid s_t = s)J(π)=Eπ[G0]J(\pi) = \mathbb{E}_{\pi}\left[ G_0 \right]

unde π(a∣s)\pi(a \mid s) este probabilitatea ca agentul să aleagă acțiunea aa în starea ss, J(π)J(\pi) este recompensa cumulată așteptată de la începutul episodului, iar Eπ\mathbb{E}_{\pi} este media peste episoadele generate urmând strategia π\pi.

Când strategia este o rețea neuronală cu parametrii θ\theta, o notăm πθ\pi_\theta. Rețeaua primește starea și dă probabilitățile acțiunilor, la fel cum un model de limbaj primește un context și dă probabilitățile tokenului următor.

O funcție de valoare (value function) estimează cât de bună este o situație, adică ce recompensă cumulată poate aștepta agentul de acolo înainte, dacă urmează strategia π\pi.

Vπ(s)V^{\pi}(s) este valoarea unei stări. Qπ(s,a)Q^{\pi}(s, a) este valoarea alegerii acțiunii aa în starea ss, după care agentul continuă să urmeze strategia π\pi. Diferența dintre cele două valori se numește avantaj (advantage).

Pentru curioșiFuncțiile de valoare și avantajul
Vπ(s)=Eπ[Gt∣st=s]V^{\pi}(s) = \mathbb{E}_{\pi}\left[ G_t \mid s_t = s \right]Qπ(s,a)=Eπ[Gt∣st=s, at=a]Q^{\pi}(s, a) = \mathbb{E}_{\pi}\left[ G_t \mid s_t = s,\ a_t = a \right]Aπ(s,a)=Qπ(s,a)−Vπ(s)A^{\pi}(s, a) = Q^{\pi}(s, a) - V^{\pi}(s)

unde GtG_t este recompensa cumulată de la pasul tt.

Un avantaj pozitiv arată că acțiunea aa este mai bună decât media acțiunilor pe care strategia le-ar alege în acea stare. Avantajul apare în aproape toate metodele moderne, inclusiv în cele folosite pentru LLM-uri.

O strategie stocastică explorează de la sine, pentru că alege uneori și acțiuni mai puțin probabile.

Metodele bazate pe valoare (value-based) învață o funcție de valoare, de obicei QQ, iar strategia alege acțiunea cu valoarea cea mai mare. Q-learning și DQN fac parte din această familie.

Metodele bazate pe gradientul strategiei (policy gradient) ajustează direct parametrii strategiei πθ\pi_\theta, în direcția care crește recompensa cumulată așteptată. Cel mai simplu algoritm de acest tip este REINFORCE.

Metodele actor-critic le combină pe cele două. Un actor (strategia) alege acțiunile, iar un critic (o funcție de valoare învățată) estimează avantajele. PPO, folosit și la antrenarea LLM-urilor, este o metodă actor-critic.