Securitatea agenților: apărări
Pagina Securitatea agenților: atacuri a arătat că un model poate fi păcălit de textul pe care îl citește. Aici vedem ce putem face: cum limităm ce poate face un agent păcălit, ce oferă fiecare apărare și unde se oprește.
Apărările se împart în două familii.
- Apărările probabilistice: antrenarea modelului, clasificatoarele, monitoarele bazate pe alte modele, formularea promptului. Scad șansa ca o injecție de prompt să reușească.
- Apărările deterministe: permisiunile, mediile izolate, listele de domenii permise, proxy-urile care adaugă credențialele, controlul fluxului de date. Limitează ce poate face o injecție reușită.
Furnizorii folosesc ambele familii și spun același lucru: prima, singură, nu ajunge. Microsoft scria în iulie 2025 că abordarea sa nu se bazează pe capacitatea de a bloca toate injecțiile de prompt.
Nimeni nu spune că problema este rezolvată
Secțiune intitulată „Nimeni nu spune că problema este rezolvată”În 2025 și 2026, furnizorii de modele și agențiile de securitate au descris problema aproape cu aceleași cuvinte.
- Anthropic (mai 2026): protecția din model „nu va fi niciodată eficientă 100%”, iar orice apărare probabilistică are o rată de ratare diferită de zero. Despre agenții care navighează pe web (noiembrie 2025): „niciun agent de navigare nu este imun la injecția de prompt”, iar o rată de succes a atacurilor de 1% „este în continuare un risc important”.
- OpenAI: Dane Stuckey, directorul de securitate al companiei, a numit injecția de prompt, în octombrie 2025, o problemă de securitate nerezolvată, aflată la frontiera cercetării (citat de Willison). În decembrie 2025, OpenAI a scris despre browserul Atlas că problema, la fel ca escrocheriile de pe web, probabil nu va fi niciodată rezolvată complet (OpenAI). Documentația Codex spune că revizuirea automată a acțiunilor „nu este o garanție deterministă de securitate”.
- Microsoft (iulie 2025): instrucțiunile din promptul de sistem sunt o măsură probabilistică, iar detectarea deterministă a injecțiilor indirecte este încă o problemă de cercetare deschisă.
- Google (decembrie 2025): injecția indirectă este principala amenințare nouă pentru toate browserele agentice, iar clasificatorul de injecții nu poate semnala totul.
- NCSC, centrul britanic de securitate cibernetică (decembrie 2025): injecția de prompt s-ar putea să nu fie niciodată eliminată complet și nu poate fi rezolvată de un produs sau de un echipament. NCSC recomandă să tratăm modelele de limbaj ca pe niște „adjuncți” care, prin construcție, pot fi derutați (inherently confusable deputies).
- OWASP (august 2026), în scrisoarea care deschide lista pentru 2026: „Nu mai încercați să construiți un model care nu poate fi păcălit. Construiți sistemul în jurul modelului, astfel încât, atunci când modelul este păcălit, și va fi, să nu se strice nimic important.”
NCSC formulează și principiul practic din spatele apărărilor deterministe: când un model procesează datele unei părți, privilegiile modelului trebuie să coboare la nivelul acelei părți. Un agent care citește e-mailul unui necunoscut nu ar trebui să poată face, în acel moment, mai mult decât ar putea face necunoscutul.
Aprobări și permisiuni
Secțiune intitulată „Aprobări și permisiuni”Prima linie de apărare a unui harnașament este întrebarea pusă omului înainte de o acțiune riscantă. În jurul întrebării există de obicei trei tipuri de reguli: acțiuni permise fără întrebare (o listă de permisiuni, allowlist), acțiuni care cer confirmare și acțiuni interzise. La Claude Code, regulile se evaluează în ordinea interdicție, întrebare, permisiune, iar o permisiune nu poate face o excepție dintr-o interdicție.
Documentația Claude Code este explicită în privința limitelor.
- O regulă pentru comenzi shell acoperă forma obișnuită a comenzii și „nu este o graniță de securitate în jurul programului”. O interdicție pentru
curlopreștecurl https://example.com, dar nu același program apelat cu calea completă sau printr-un alt shell. - O regulă care interzice citirea fișierului
.envacoperă instrumentele de citire ale harnașamentului și comenzile recunoscute, dar nu un script Python sau Node care deschide singur fișierul. Pentru astfel de cazuri, documentația trimite la mediul izolat al sistemului de operare. - Regulile sunt impuse de Claude Code, nu de model. Instrucțiunile din prompt sau din
CLAUDE.mdinfluențează ce încearcă modelul să facă, dar nu schimbă ce permite harnașamentul.
Nici listele de permisiuni nu sunt mai sigure decât comenzile pe care le conțin. Tracebit a arătat în iulie 2025 că, după ce utilizatorul punea grep pe lista de permisiuni a Gemini CLI, orice comandă care doar începea cu grep rula fără întrebare, inclusiv comenzile înlănțuite după grep și ascunse cu spații. Google a corectat problema în versiunea 0.1.14. Trail of Bits a descris în octombrie 2025 o problemă înrudită: multe comenzi aparent sigure au opțiuni care rulează alte programe (exemplele vin din go test, ripgrep și fd), așa că o comandă permisă devine o cale spre execuția de cod. Recomandarea autorilor este, în primul rând, un mediu izolat.
Mai este și oboseala aprobărilor (approval fatigue). Anthropic a măsurat că utilizatorii Claude Code acceptau 93% din cererile de permisiune. O întrebare la care răspunsul este aproape mereu „da” protejează puțin. Iar o întrebare protejează doar dacă arată tot: în demonstrația Invariant Labs cu otrăvirea instrumentelor, dialogul de confirmare din Cursor nu afișa argumentele complete ale apelului.
Aprobarea dată de un alt model
Secțiune intitulată „Aprobarea dată de un alt model”Ca să scadă numărul întrebărilor, mai mulți furnizori au înlocuit o parte din aprobările omului cu un clasificator, adică un alt model care judecă fiecare acțiune.
- Modul automat din Claude Code (Anthropic, martie 2026) are două straturi. Un detector de injecții rulează pe server și verifică rezultatele instrumentelor, iar un clasificator judecă fiecare acțiune. Clasificatorul vede mesajele utilizatorului și apelurile de instrumente, dar nu și rezultatele, ca textul dintr-o pagină citită să nu poată convinge direct clasificatorul. Pentru tot sistemul, Anthropic a raportat 0,4% alarme false pe 10.000 de acțiuni reale, 17% acțiuni scăpate pe un set de 52 de acțiuni reale făcute din exces de zel (pe care Anthropic îl numește „numărul onest”) și 5,7% exfiltrări scăpate pe 1.000 de exemple sintetice. Din versiunea 2.1.283, modul automat este modul de pornire al sesiunilor interactive, iar documentația spune că reduce numărul întrebărilor, dar „nu garantează siguranța”.
- Revizuirea automată din Codex (OpenAI, aprilie 2026): un agent separat decide acțiunile care ies din limitele mediului izolat. OpenAI a raportat că 99,1% dintre acțiunile trimise la revizuire au fost aprobate automat, cu o rată de detectare de 90,3% pentru acțiunile făcute din exces de zel și de 99,3% pentru cazurile de injecție testate. Documentația Codex spune că revizuirea automată „nu este o garanție deterministă de securitate”.
Un clasificator poate fi păcălit ca orice model. În octombrie 2026, cercetătorii Anthropic au testat modul automat cu un agent de programare instruit să ducă la capăt, pe ascuns, o sarcină secundară dăunătoare. Monitoarele din producție nu au blocat peste 55% dintre atacuri. Un monitor nou a scăzut rata de succes a atacurilor cu peste 50 de puncte procentuale, dar atacurile împărțite pe mai multe contexte au rămas, în cuvintele autorilor, o problemă deschisă.
Valorile implicite diferă
Secțiune intitulată „Valorile implicite diferă”Fiecare harnașament pornește cu alte setări. Tabelul arată câteva valori implicite, așa cum le descriau documentațiile în noiembrie 2026. O comparație mai largă este pe pagina despre harnașamentele de azi.
| Harnașament | Implicit |
|---|---|
| Claude Code, pe calculatorul local | Modul automat de aprobare, din versiunea 2.1.283. Mediul izolat este oprit până la comanda /sandbox. |
| Codex CLI | Mediu izolat activ, cu scriere doar în spațiul de lucru (workspace-write). |
| Gemini CLI | Mediul izolat și dosarele de încredere sunt opționale, dezactivate implicit. |
| OpenClaw | Izolarea este oprită (off), deci comenzile rulează direct pe calculator. Serviciul ascultă doar local, la o instalare obișnuită. |
| Codex Cloud | Internetul este blocat cât timp lucrează agentul. Scripturile de pregătire a mediului au acces la internet. |
| GitHub Copilot, agentul din cloud | Firewall activ implicit. Doar utilizatorii cu drept de scriere pot porni agentul, iar comentariile celorlalți nu ajung la agent. |
Modurile fără nicio întrebare (bypassPermissions în Claude Code, yolo în Gemini CLI, danger-full-access în Codex) sunt gândite pentru medii deja izolate. Documentația Claude Code recomandă un astfel de mod doar în containere, mașini virtuale sau containere de dezvoltare fără acces la internet, unde agentul nu poate strica sistemul gazdă.
Medii izolate (sandboxing)
Secțiune intitulată „Medii izolate (sandboxing)”Un mediu izolat (sandbox) limitează ce poate citi, scrie și contacta un proces, indiferent ce a decis modelul. Mediul izolat nu împiedică păcălirea modelului. Limitează paguba: comanda dată de un model păcălit nu găsește fișierul cu chei și nu poate ieși în rețea.
Tehnologiile folosite, de la izolarea cea mai ușoară la cea mai strictă, sunt următoarele. Ordinea reflectă un consens general, nu o măsurătoare.
- Izolarea procesului pe același nucleu. Pe macOS, Seatbelt, adică profiluri de restricții rulate cu
sandbox-exec. Pagina de manual a Apple marcheazăsandbox-execca învechit (deprecated), deși Claude Code, Codex, Gemini CLI și Cursor îl folosesc. Pe Linux, bubblewrap (izolare prin spații de nume, fără drepturi de administrator, folosită și de Flatpak), Landlock (un modul de securitate pe care orice proces îl poate activa pentru sine, din versiunea 5.13 a nucleului) și seccomp-bpf (un filtru pentru apelurile de sistem). - Containerele (Docker, Podman) și containerele de dezvoltare (dev containers), care izolează procesele, dar împart nucleul cu gazda.
- gVisor, un nucleu de aplicație care rulează în spațiul utilizatorului și interceptează apelurile de sistem ale containerului.
- Mașinile virtuale ușoare (microVM), precum Firecracker, cu nucleu propriu și pornire în mai puțin de 125 ms, potrivit proiectului.
- Mașinile virtuale complete.
| Produs | Cum izolează agentul |
|---|---|
| Claude Code, pe calculatorul local | Seatbelt pe macOS, bubblewrap pe Linux și WSL2. Windows nativ nu are mediu izolat. Implementarea, sandbox-runtime, este open-source. |
| Claude Code în cloud | O mașină virtuală separată pentru fiecare sesiune |
| Execuția de cod din claude.ai | Un container gVisor temporar |
| Claude Cowork | O mașină virtuală locală completă |
| Codex CLI | Seatbelt pe macOS, bubblewrap pe Linux (Landlock rămâne ca variantă mai veche), mediu izolat nativ pe Windows |
| Gemini CLI | La alegere: profiluri Seatbelt, Docker sau Podman, gVisor |
| Cursor | Seatbelt pe macOS, Landlock și seccomp pe Linux |
| GitHub Copilot, agentul din cloud | Mașina GitHub Actions, cu firewall |
| Docker Sandboxes (din ianuarie 2026) | O mașină virtuală ușoară pentru fiecare mediu, cu nucleu și daemon Docker proprii |
| OpenClaw | Docker (implicit), Podman, SSH și alte variante, când izolarea este activată |
Izolarea ajută și la confort, nu doar la siguranță. Anthropic a raportat în octombrie 2025 că mediul izolat a redus cu 84% cererile de permisiune în folosirea internă, iar Cursor a scris în februarie 2026 că agenții izolați se opresc cu 40% mai rar decât cei neizolați. Anthropic subliniază că este nevoie de două izolări. Fără izolarea fișierelor, un agent păcălit poate modifica fișiere sensibile ale sistemului. Fără izolarea rețelei, poate trimite afară orice citește.
Ce nu acoperă mediul izolat
Secțiune intitulată „Ce nu acoperă mediul izolat”Documentațiile spun deschis unde se oprește izolarea.
- Claude Code (documentația): mediul izolat „reduce riscul, dar nu este o graniță completă de izolare”. Proxy-ul de rețea decide după numele de domeniu declarat de client, fără să inspecteze traficul TLS, așa că un program care rulează în mediul izolat poate ajunge la domenii nepermise prin tehnici precum domain fronting. Accesul la socketul Docker al gazdei înseamnă, practic, acces la gazdă. Serverele MCP rulează în afara mediului izolat. Implicit, procesele din mediul izolat pot citi aproape tot sistemul de fișiere, inclusiv
~/.ssh, până când adăugăm reguli care interzic citirea. - Containerele de dezvoltare (documentația Claude Code): cu verificările de permisiuni dezactivate, containerul nu împiedică un proiect malițios să trimită afară tot ce este accesibil în container, inclusiv credențialele Claude Code.
- Docker Sandboxes (documentația): modificările făcute de agent la scripturile git, la configurația de integrare continuă sau la scripturile din
package.jsonpot rula mai târziu pe gazdă, iar scripturile git nu apar îngit diff. Serverele MCP locale rulează pe gazdă, iar politica implicită de rețea include domenii largi.
Mediile izolate au și defecte. În septembrie 2025, mediul izolat din Codex trata ca director cu drept de scriere un director de lucru ales de model (CVE-2025-59532). În iunie 2026, Claude Code a avut o evadare prin confuzia căilor dintre arborii de lucru git, care permitea rularea de cod în afara mediului Seatbelt (CVE-2026-55607). Accomplish a descris în septembrie 2026 două evadări din mediul izolat Codex, corectate în opt zile, iar Cursor a publicat între februarie și iulie 2026 șase avize despre evadări din mediul izolat.
Nici izolarea puternică nu este gratuită. Anthropic notează că o mașină virtuală ascunde ce se întâmplă înăuntru de programele de securitate care rulează pe gazdă.
Controlul traficului de ieșire
Secțiune intitulată „Controlul traficului de ieșire”Claude Code, sandbox-runtime și Docker Sandboxes folosesc același model: procesele din mediul izolat nu au o rută directă spre internet. Tot traficul trece printr-un proxy de pe gazdă, care aplică o listă de domenii permise și cere aprobare pentru domenii noi. Claude Code refuză și adresele locale și adresa serviciului de metadate din cloud (169.254.169.254), de unde un proces ar putea obține credențialele mașinii.
Lista de domenii permise are aceleași limite ca pe pagina despre atacuri.
- Documentația Claude Code avertizează că permiterea unor domenii largi, cum este
github.com, poate deschide căi de exfiltrare. - Willison a observat același lucru despre lista de domenii „Common dependencies” din Codex, cu 71 de domenii, oricare dintre acestea putând ascunde un canal neașteptat de exfiltrare.
- Documentația Claude Code în cloud spune că, și cu accesul la rețea dezactivat, Claude Code poate comunica în continuare cu API-ul Anthropic, ceea ce poate permite ieșirea datelor din mașina virtuală.
- Firewallul agentului Copilot din cloud nu se aplică proceselor serverelor MCP și pașilor de pregătire a mediului, iar documentația GitHub spune că nu trebuie considerat o soluție completă de securitate.
Codex Cloud blochează implicit internetul cât timp lucrează agentul. Când accesul este pornit, documentația recomandă să fie permise doar metodele HTTP care citesc (GET, HEAD, OPTIONS) și dă chiar un exemplu de tichet GitHub cu instrucțiuni ascunse care ar trimite ultimul commit spre un server extern.
Canalele care nu trec prin instrumente, cum sunt imaginile Markdown, se închid în interfață. Google nu afișează în Gemini imagini de la adrese externe și ascunde adresele suspecte (iunie 2025). Microsoft blochează determinist exfiltrarea prin imagini Markdown și anumite legături nesigure (iulie 2025). GitHub a dezactivat imaginile în Copilot Chat după CamoLeak.
Secretele, în afara agentului
Secțiune intitulată „Secretele, în afara agentului”Principiul este simplu: cheile reale nu intră deloc în mediul agentului. Un proxy din afara mediului izolat le adaugă la cereri pe drum, doar pentru serviciile cărora le sunt destinate. În termenii triadei letale, un secret pe care agentul nu îl poate citi nu mai face parte din datele private expuse.
- Claude Code în cloud: credențialele GitHub nu intră niciodată în mașina virtuală a sesiunii. Un proxy GitHub verifică credențialul limitat și operația, de exemplu dacă se trimite cod doar pe ramura configurată, apoi atașează tokenul real.
- Claude Code, local: opțiunea
sandbox.credentialspoate ascunde sau masca variabile de mediu și fișiere. O valoare mascată apare în comenzi ca un înlocuitor valabil o singură sesiune, iar proxy-ul pune valoarea reală doar în cererile către domeniile permise. Mascarea se configurează numai din setările utilizatorului sau ale organizației, niciodată din setările unui repozitoriu. Documentația precizează că nu există o listă implicită de credențiale protejate, deci sunt protejate doar cele listate explicit. - Docker Sandboxes: proxy-ul de pe gazdă adaugă cheile API sau antetele de autentificare, iar valorile reale nu intră în mașina virtuală.
- Claude Cowork: credențialele rămân în depozitul de parole al sistemului gazdă.
- OpenClaw (documentația): secretele trebuie ținute în afara sistemului de fișiere la care ajunge agentul.
Capcanele sunt cele de mai sus. Regulile care interzic citirea unui fișier nu opresc un script care îl deschide singur, iar multe medii izolate pot citi implicit cheile din directorul utilizatorului. Documentația containerelor de dezvoltare recomandă să nu montăm în container directorul ~/.ssh sau credențialele de cloud ale gazdei și să folosim tokenuri cu drepturi limitate la un repozitoriu și cu termen scurt de valabilitate.
O listă de verificare pentru acces la fișiere, e-mail sau consolă
Secțiune intitulată „O listă de verificare pentru acces la fișiere, e-mail sau consolă”Când dăm unui agent acces la fișierele, la e-mailul sau la consola noastră, întrebările de mai jos acoperă cele mai multe dintre incidentele descrise pe pagina despre atacuri.
- Are agentul toate cele trei capabilități ale triadei letale? Dacă citește conținut nesigur (pagini web, e-mailuri de la oricine, repozitorii clonate), ajunge la date private și poate comunica în afară, renunțăm la una dintre cele trei capabilități pentru sarcina respectivă.
- Unde rulează comenzile? Pornim mediul izolat sau lucrăm într-un container ori într-o mașină virtuală, cu drept de scriere doar în directorul proiectului.
- Ce poate citi? Interzicem explicit citirea directoarelor cu chei (
~/.ssh,~/.aws, fișierele.env), pentru că multe medii izolate permit implicit citirea aproape oriunde. - Unde poate trimite date? Rețeaua este blocată implicit, cu o listă scurtă de domenii permise, fără domenii largi.
- Ce secrete vede? Credențiale cu drepturi minime și termen scurt, ideal adăugate de un proxy din afara mediului, nu chei principale în variabile de mediu.
- Ce aprobăm și cum? Citim comanda completă înainte de aprobare. Modurile fără întrebări rămân pentru medii deja izolate.
- Ce se întâmplă la deschiderea unui repozitoriu străin? Înainte să pornim agentul, ne uităm la fișierele de configurare (
.claude/,.cursor/,.vscode/,.mcp.json,.env, configurația git) și folosim o versiune actualizată a harnașamentului. - Ce instalăm? Abilitățile, serverele MCP și extensiile sunt cod scris de alții. Le alegem din surse cunoscute, fixăm versiunea și citim ce cer.
- Ce ține minte agentul? Verificăm periodic memoria agentului și ștergem intrările pe care nu le recunoaștem.
- Ce rămâne în jurnal? Păstrăm istoricul complet al intrărilor, al ieșirilor și al apelurilor de instrumente, cum recomandă și NCSC, ca să putem reconstitui ce s-a întâmplat.
Șabloane de proiectare din cercetare
Secțiune intitulată „Șabloane de proiectare din cercetare”Apărările de mai sus limitează paguba. Cercetarea a căutat și arhitecturi în care textul nesigur nu poate declanșa acțiuni importante, oricât de convingător ar fi. Beurer-Kellner și colaboratorii (iunie 2025) au formulat principiul astfel: după ce un agent a citit date nesigure, agentul trebuie constrâns în așa fel încât acele date să nu poată declanșa nicio acțiune cu consecințe.
- Două LLM-uri (Dual LLM, Willison, aprilie 2023). Un LLM privilegiat, cu acces la instrumente, nu vede niciodată textul nesigur. Un LLM în carantină, fără instrumente, procesează textul nesigur. Cele două modele comunică doar prin cod obișnuit, care transmite variabile simbolice (de exemplu
$VAR1), nu textul propriu-zis. Chiar Willison scria că soluția nu este sigură în 100% din cazuri și că îl îngrijorează complexitatea implementării. - Spotlighting (Hines și colaboratorii, Microsoft, martie 2024). Textul nesigur este marcat prin delimitatori, prin intercalarea unui simbol special între cuvinte sau prin codificare în base64, ca modelul să știe de unde vine. Pe modelele GPT testate, rata de succes a atacurilor a scăzut de la peste 50% la sub 2%. Autorii recunosc că delimitatorii simpli sunt ușor de ocolit, că codificarea strică performanța modelelor mai slabe și că nu înțeleg pe deplin de ce metoda funcționează.
- Ierarhia instrucțiunilor (instruction hierarchy, Wallace și colaboratorii, OpenAI, aprilie 2024). Modelul este antrenat să dea prioritate instrucțiunilor de sistem, apoi celor ale utilizatorului, apoi celor din rezultatele instrumentelor. Robustețea a crescut cu până la 63% la extragerea promptului de sistem și cu până la 34% la atacuri nevăzute la antrenare, dar autorii notează refuzuri în exces și scriu că modelele rămân probabil vulnerabile la atacuri puternice.
- CaMeL (Debenedetti și colaboratorii, Google DeepMind și ETH Zürich, martie 2025). Un LLM privilegiat scrie planul ca program într-un subset restrâns de Python, înainte să vadă datele nesigure. Un LLM în carantină, fără instrumente, extrage informații din datele nesigure. Un interpretor urmărește proveniența fiecărei valori și aplică reguli, de exemplu „e-mailurile pleacă doar către destinatari de încredere”. Pe setul de evaluare (benchmark) AgentDojo, CaMeL a rezolvat 77% dintre sarcini cu securitate demonstrabilă, față de 84% fără apărare. Willison a numit CaMeL prima măsură credibilă împotriva injecției care nu se bazează pe încă un strat de AI. Prețul: cineva trebuie să scrie și să întrețină regulile, iar utilizatorul primește mai multe cereri de aprobare.
- FIDES (Costa și colaboratorii, Microsoft Research, mai 2025). Un planificator cu controlul fluxului de informații (information-flow control), care pune pe date etichete de confidențialitate și de integritate. Cu verificarea regulilor activă, FIDES a oprit toate atacurile prin injecție din AgentDojo.
- Cele șase șabloane (Beurer-Kellner și colaboratorii, iunie 2025, 14 autori de la IBM, Invariant Labs, ETH Zürich, Google, Microsoft și alte instituții). Selectorul de acțiuni: modelul alege dintr-o listă fixă de acțiuni și nu primește înapoi rezultatele. Planificare, apoi execuție: planul este fixat înainte să sosească datele nesigure. Map-reduce cu LLM-uri: câte un subagent izolat procesează fiecare document nesigur, iar rezultatele sunt combinate într-un mod sigur. Două LLM-uri, ca mai sus. Cod, apoi execuție, în stilul CaMeL. Minimizarea contextului: textul inutil, inclusiv promptul inițial al utilizatorului, este scos din context înainte de pasul următor.
- Regula celor două (Agents Rule of Two, Meta, octombrie 2025). Într-o sesiune, un agent ar trebui să aibă cel mult două dintre trei proprietăți: (A) procesează intrări nesigure, (B) are acces la sisteme sensibile sau la date private, (C) poate schimba starea sistemelor sau poate comunica în exterior. Dacă sunt necesare toate trei, agentul nu ar trebui să lucreze autonom, ci cu aprobarea unui om. Meta prezintă regula ca pe o completare, nu ca pe o soluție finală, iar Willison obiectează că diagrama Meta etichetează drept sigură combinația dintre A și C.
Observăm două tipuri de abordări. Spotlighting și ierarhia instrucțiunilor sunt tot apărări probabilistice, care scad șansa ca modelul să asculte de date. Cele două LLM-uri, CaMeL, FIDES și șabloanele din 2025 sunt garanții de arhitectură: nu mai contează dacă modelul a fost păcălit, pentru că modelul păcălit nu are cum să declanșeze acțiunea. Prețul este flexibilitatea, pentru că agentul poate face mai puține lucruri singur.
Atacurile adaptive și cifrele de robustețe
Secțiune intitulată „Atacurile adaptive și cifrele de robustețe”Furnizorii publică rate de succes ale atacurilor tot mai mici. Ca să le citim corect, trebuie să știm împotriva cărui atac au fost măsurate.
The Attacker Moves Second (Nasr, Carlini și colaboratorii, octombrie 2025) a testat 12 apărări publicate recent cu atacuri adaptive (adaptive attacks), care se ajustează după răspunsurile apărării, prin gradienți, învățare prin consolidare, căutare sau atacatori umani. Pentru cele mai multe apărări, rata de succes a atacurilor a trecut de 90%, deși majoritatea raportaseră inițial rate aproape de zero. Willison a comentat că evaluarea cu atacuri statice, formate dintr-un singur text fix, este un mod „aproape inutil” de a testa aceste apărări.
O competiție publică organizată de Gray Swan și analizată de Dziemian și colaboratorii (martie 2026) a strâns 464 de participanți și 272.000 de atacuri asupra a 13 modele, în 41 de scenarii. Au reușit 8.648 de atacuri. Rata de succes a variat de la 0,5% (Claude Opus 4.5) la 8,5% (Gemini 2.5 Pro), toate modelele au fost vulnerabile, iar capabilitatea unui model a fost doar slab corelată cu robustețea.
Cel mai detaliat set de cifre publicat de un furnizor până în noiembrie 2026 este în fișa de sistem a Claude Opus 5.5 (septembrie 2026).
| Test | Condiții | Claude Opus 5.5 |
|---|---|---|
| Gray Swan, injecții indirecte | 37 de scenarii, 1.804 atacuri care s-au transferat bine între modele, fără detectoarele de injecții. Rezultatul este probabilitatea ca atacatorul să găsească un atac reușit după k încercări. | 0,1% la k = 1, 0,7% la k = 10, 1,0% la k = 15 |
| Atacator adaptiv, programare | Atacatorul automat Shade, antrenat pe aceleași 40 de scenarii pe care este testat, cu 200 de încercări pe scenariu | 54,61% din încercări fără protecții (37 din 40 de scenarii sparte), 11,13% cu detectoarele de injecții (36 din 40) |
| Atacator adaptiv, utilizarea calculatorului | Shade, 14 cazuri de test | 0,07% fără protecții, 0,04% cu detectoarele |
| Navigare web în Claude Cowork | 110 scenarii, 10 încercări fiecare, atacuri scrise de specialiști | 0,09% fără protecții, 0% cu modul automat |
Același model are 0,1% într-un test și peste 50% în altul. Diferența ține de modelul de amenințare (threat model): câte încercări are atacatorul, dacă se adaptează și dacă protecțiile sunt active. Anthropic adaugă trei precizări.
- Testele adaptive folosesc un model de amenințare „permisiv în mod deliberat”: atacatorul optimizează direct pe scenariile de test și are multe încercări, lucruri pe care un atacator real nu le are de obicei.
- În testul de programare, reușitele au venit prin modelul de rezervă, Claude Opus 4.8, folosit după ce un clasificator de securitate cibernetică redirecționase cererea. Niciuna dintre cele 2.872 de cereri la care a răspuns direct Opus 5.5 nu a fost vulnerabilă.
- Seturile fixe de atacuri cunoscute pot da un fals sentiment de siguranță. Tot fișa de sistem notează că Opus 5.5 este mai vulnerabil decât alte modele Claude recente la injecțiile din textul lipit chiar de utilizator în prompt.
Există și un contraexemplu onest. În iunie 2026, Fernando Irarrázaval a pus un asistent OpenClaw cu Claude Opus 4.6 să păzească un fișier cu secrete, cu câteva reguli scurte împotriva injecțiilor, și a invitat publicul să încerce. Peste 2.000 de oameni au trimis peste 6.000 de e-mailuri, iar nimeni nu a obținut secretul. Autorul notează că modelele mai slabe s-ar putea descurca mai rău și că un premiu mai mare ar fi atras atacatori mai buni. Chiar și așa, autorul tot nu își lasă agenții să trimită e-mailuri.
Când citim o cifră de robustețe, ne uităm deci la câteva lucruri.
- Încercările: câte a avut atacatorul (k) și dacă cifra este calculată pe încercare sau pe scenariu.
- Atacatorul: static sau adaptiv și, dacă este adaptiv, dacă a putut optimiza pe aceleași scenarii pe care este testat.
- Protecțiile: care erau active (detectoare, clasificatoare, mod automat).
- Contextul: în ce harnașament a rulat modelul și cine a făcut măsurătoarea.
O rată de 1% înseamnă, cum scrie chiar Anthropic, un risc important, iar un atacator răbdător are la dispoziție mult mai mult de o încercare.
Bibliografie
Secțiune intitulată „Bibliografie”- Anthropic (2025). Making Claude Code safer with sandboxing. Blogul Anthropic. ↩︎
- Anthropic (2025). Mitigating prompt injections in browser use. Blogul Anthropic. ↩︎
- Anthropic (2026). Claude Opus 5.5 System Card. Anthropic. ↩︎
- Anthropic (2026). How we built Claude Code auto mode. Blogul Anthropic. ↩︎↩︎2
- Anthropic (2026). How we contain Claude across products. Blogul Anthropic. ↩︎↩︎2
- Anthropic (2026). Red-Teaming Auto Mode: Improving Blocking Classifiers Against Malign Coding Agents. Blogul Anthropic Alignment Science. ↩︎
- Anthropic (2026). Sandbox Escape via Git Worktree Path Confusion Allows Unsandboxed Code Execution. Avizul de securitate GHSA-7835-87q9-rgvv (CVE-2026-55607). ↩︎
- Anthropic (f.a.). Choose a permission mode. Documentația Claude Code. ↩︎↩︎2
- Anthropic (f.a.). Configure permissions. Documentația Claude Code. ↩︎
- Anthropic (f.a.). Configure the sandboxed Bash tool. Documentația Claude Code. ↩︎↩︎2
- Anthropic (f.a.). Development containers. Documentația Claude Code. ↩︎
- Anthropic (f.a.). sandbox-runtime. Cod sursă, GitHub. ↩︎
- Anthropic (f.a.). Use Claude Code in the cloud. Documentația Claude Code. ↩︎↩︎2
- Beurer-Kellner, L. et al. (2025). Design Patterns for Securing LLM Agents against Prompt Injections. Preprint arXiv:2506.08837. ↩︎
- bubblewrap (f.a.). bubblewrap: Low-level unprivileged sandboxing tool used by Flatpak and similar projects. Cod sursă, GitHub. ↩︎
- Costa, M. et al. (2025). Securing AI Agents with Information-Flow Control. Preprint arXiv:2505.23643. ↩︎
- Cox, S. (2025). Code Execution Through Deception: Gemini AI CLI Hijack. Blogul Tracebit. ↩︎
- Cursor (2026). Implementing a secure sandbox for local agents. Blogul Cursor. ↩︎↩︎2
- Debenedetti, E. et al. (2024). AgentDojo: A Dynamic Environment to Evaluate Prompt Injection Attacks and Defenses for LLM Agents. Preprint arXiv:2406.13352. ↩︎
- Debenedetti, E. et al. (2025). Defeating Prompt Injections by Design. Preprint arXiv:2503.18813. ↩︎
- Docker (2026). Docker Sandboxes: Run Claude Code and More Safely. Blogul Docker. ↩︎
- Docker (f.a.). Security model. Documentația Docker Sandboxes. ↩︎
- Dziemian, M. et al. (2026). How Vulnerable Are AI Agents to Indirect Prompt Injections? Insights from a Large-Scale Public Competition. Preprint arXiv:2603.15714. ↩︎
- Firecracker (f.a.). Firecracker. Site-ul proiectului. ↩︎
- GitHub (f.a.). Customizing or disabling the firewall for GitHub Copilot. GitHub Docs. ↩︎↩︎2
- GitHub (f.a.). Risks and mitigations for GitHub Copilot cloud agent. GitHub Docs. ↩︎
- Google (2025). Architecting Security for Agentic Capabilities in Chrome. Blogul Google. ↩︎
- Google (2025). Mitigating prompt injection attacks with a layered defense strategy. Blogul Google. ↩︎
- Google (f.a.). Sandboxing in Gemini CLI. Documentația Gemini CLI. ↩︎
- Google (f.a.). Trusted Folders. Documentația Gemini CLI. ↩︎
- gVisor (f.a.). What is gVisor?. Documentația gVisor. ↩︎
- Hines, K. et al. (2024). Defending Against Indirect Prompt Injection Attacks With Spotlighting. Preprint arXiv:2403.14720. ↩︎
- Irarrázaval, F. (2026). What happened after 2,000 people tried to hack my AI assistant. Blogul lui Fernando Irarrázaval. ↩︎
- Linux Kernel (f.a.). Landlock: unprivileged access control. Documentația nucleului Linux. ↩︎
- Meta (2025). Agents Rule of Two: A Practical Approach to AI Agent Security. Blogul Meta AI. ↩︎
- Nasr, M. et al. (2025). The Attacker Moves Second: Stronger Adaptive Attacks Bypass Defenses Against LLM Jailbreaks and Prompt Injections. Preprint arXiv:2510.09023. ↩︎
- NCSC (2025). Prompt injection is not SQL injection (it may be worse). National Cyber Security Centre. ↩︎
- OpenAI (2025). Continuously hardening ChatGPT Atlas against prompt injection. Blogul OpenAI. ↩︎
- OpenAI (2025). Sandbox bypass due to bug in path configuration logic. Avizul de securitate GHSA-w5fx-fh39-j5rw (CVE-2025-59532). ↩︎
- OpenAI (2026). Auto-review of agent actions without synchronous human oversight. Blogul OpenAI Alignment. ↩︎
- OpenAI (f.a.). Auto-review. Documentația Codex. ↩︎
- OpenAI (f.a.). Codex Cloud (Legacy): internet access. Documentația Codex. ↩︎↩︎2
- OpenAI (f.a.). Sandbox. Documentația Codex. ↩︎
- OpenClaw (f.a.). Modes, scope, and backend. Documentația OpenClaw. ↩︎
- OpenClaw (f.a.). Security. Documentația OpenClaw. ↩︎
- OWASP (2026). OWASP GenAI LLM Top 10 2026. OWASP GenAI Security Project. ↩︎
- Paverd, A. (2025). How Microsoft defends against indirect prompt injection attacks. Blogul Microsoft Security Response Center. ↩︎↩︎2↩︎3
- Vandevanter, W. (2025). Prompt injection to RCE in AI agents. Blogul Trail of Bits. ↩︎
- Wallace, E. et al. (2024). The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions. Preprint arXiv:2404.13208. ↩︎
- Willison, S. (2023). The Dual LLM pattern for building AI assistants that can resist prompt injection. Blogul lui Simon Willison. ↩︎
- Willison, S. (2025). CaMeL offers a promising new direction for mitigating prompt injection attacks. Blogul lui Simon Willison. ↩︎
- Willison, S. (2025). Codex agent internet access. Blogul lui Simon Willison. ↩︎
- Willison, S. (2025). Dane Stuckey (OpenAI CISO) on prompt injection risks for ChatGPT Atlas. Blogul lui Simon Willison. ↩︎
- Willison, S. (2025). New prompt injection papers: Agents Rule of Two and The Attacker Moves Second. Blogul lui Simon Willison. ↩︎↩︎2
- Yomtov, O. (2026). Escaping the OpenAI Codex sandbox, twice. Blogul Accomplish. ↩︎
Cookie-uri
Site-ul folosește Google Analytics pentru statistici de trafic. Cookie-urile de analiză se activează doar după acceptare. Detalii în politica de cookie-uri.