Salt la conținut

Orchestrare și sisteme multi-agent

IntermediarLectură: 4 min

Cu cât o sarcină este mai mare, cu atât este mai greu să ținem toată activitatea într-o singură conversație, iar de la un moment dat nu se mai poate deloc. Motivele sunt două.

  • Fereastra de context se umple repede. Jurnalele lungi de compilare, fișierele mari și rezultatele intermediare ocupă mii de tokenuri. Costul crește, la fel și riscul ca modelul să piardă din vedere instrucțiunile de la început.
  • Prea multe instrumente încurcă modelul. Un agent cu 50 de instrumente diferite la dispoziție riscă să aleagă instrumente nepotrivite sau să se piardă în detalii secundare.

Sistemele agentice de azi rezolvă aceste probleme prin orchestrare (orchestration): sistemul decide cum se împarte sarcina, ce rulează unul după altul, ce rulează în paralel și ce informații trec de la un pas la altul.

Ca să știe ce poate rula în paralel, sistemul pornește de obicei de la un plan. Modelul scrie mai întâi planul, iar sistemul îl împarte în sarcini separate. Cea mai simplă metodă este tăierea textului planului la fiecare punct din listă, astfel încât fiecare punct să devină o sarcină. Metoda este ușor de implementat, dar fragilă: dacă modelul scrie planul puțin altfel decât se aștepta codul, de exemplu cu subpuncte sau cu o frază de introducere, împărțirea iese greșit.

O variantă mai sigură este ca modelul să fie antrenat să producă ieșire structurată (structured output), de exemplu JSON, într-un format stabilit dinainte. Fiecare sarcină devine un obiect cu câmpuri clare, de exemplu ce trebuie făcut și de ce alte sarcini depinde. Codul citește acest format fără să ghicească unde se termină o sarcină și unde începe următoarea.

Când o sarcină are nevoie de rezultatul alteia, cele două rulează în ordine, iar a doua așteaptă până se termină prima. De exemplu, agentul nu poate repara un test înainte să vadă mesajul de eroare. Sarcinile care nu depind una de alta pot rula în paralel. Sistemul poate porni pentru aceste sarcini mai multe instanțe ale modelului, care lucrează în același timp, fiecare la propria parte. Una poate citi documentația unei librării, în timp ce alta caută în cod locurile în care este folosită.

Rezultatele se întorc apoi la coordonator, adică la agentul care a împărțit sarcina. Coordonatorul citește ce a primit, combină rezultatele și decide ce urmează: pornește sarcinile care așteptau aceste rezultate, cere o corectură sau scrie răspunsul final.

Un coordonator cu doi subagențiAgentul coordonator scrie planul și îl împarte în sarcini. Sarcina 1, citirea documentației, și sarcina 2, căutarea utilizărilor în cod, nu depind una de alta și pornesc deodată, la doi subagenți care lucrează în paralel. Rezumatele subagenților se întorc la coordonator, care le combină și pornește abia apoi sarcina 3: modificarea codului și rularea testelor. Rezultatul acestei sarcini ajunge tot la coordonator, care scrie răspunsul final.Agentul coordonatorPlanul, împărțitîn sarciniCombinărezultateleRăspunsul finalÎn paralelSarcina 1: citeștedocumentațiaSarcina 2: cautăutilizările în codSarcina 3: modificăcodul și rulează testelepornesc deodatădoar rezumatele se întorcpornește după ceare rezultatelerezultat
Sarcinile independente rulează în paralel, la subagenți care lucrează fiecare în propriul context. Sarcina care are nevoie de rezultatele celorlalte așteaptă până când coordonatorul le primește.

Un harnașament mai avansat îi permite agentului principal să pornească subagenți, fiecare cu un obiectiv mai mic și bine delimitat. O împărțire tipică arată astfel.

  • Agentul coordonator (părinte) are imaginea de ansamblu a proiectului, planifică sarcinile și vorbește direct cu utilizatorul.
  • Agentul de cercetare (research subagent) primește o întrebare precisă, caută în documentație sau în repozitoriul de cod folosind numai instrumente care citesc, fără să modifice nimic, și îi trimite părintelui doar rezumatul concluziilor.
  • Agentul de execuție sau testare lucrează într-un spațiu izolat (o ramură separată sau un director temporar) și verifică o implementare fără să aglomereze contextul conversației principale.

Astfel, toate detaliile căutărilor rămân în istoricul subagentului, iar agentul părinte primește doar un răspuns scurt și la obiect.

Când o sesiune de lucru durează zeci de minute sau ore, istoricul ajunge să depășească numărul maxim de tokenuri pe care îl acceptă modelul. Atunci harnașamentul intervine automat prin compactare: un pas intern rezumă ce s-a făcut până acum, deciziile luate și fișierele cu care s-a lucrat. Spațiul eliberat în context rămâne pentru pașii următori, iar sarcina continuă de unde a rămas, fără să își piardă firul. Pagina Memoria agenților arată ce se pierde la compactare și unde păstrează un agent informațiile care trebuie să dureze mai mult decât o sesiune.

Sistemele mai avansate nu blochează conversația cât timp rulează o comandă lungă în consolă. Comenzile care durează mult (de exemplu descărcarea unor modele mari sau rularea unei suite mari de teste) sunt trimise în fundal, ca procese asincrone (background tasks).

În loc să verifice la intervale regulate dacă s-a terminat comanda (polling), harnașamentul folosește trezirea reactivă (event-driven wakeup). Când procesul se termină sau dă o eroare, harnașamentul trezește automat agentul și îi transmite notificarea. Așa se economisesc apeluri și timp.