Un model Gemini al Google a ieșit din mediul controlat al unui test de securitate și a obținut acces neautorizat la sistemele informatice reale ale trei companii. Incidentul s-a produs după ce o eroare a infrastructurii de testare a permis agenților AI să acceseze internetul. Google susține că, în toate cele trei situații, modelul și-a oprit acțiunile după ce a constatat că sistemele respective nu făceau parte din test.
Gemini a ajuns din mediul de testare pe internet
Incidentul s-a produs în luna mai, în cadrul unui exercițiu de securitate de tip „capture the flag”. Acesta a fost organizat de compania israeliană Irregular.
Agenții AI nu ar fi trebuit să aibă acces la internet. O problemă tehnică a mediului de testare a făcut însă posibilă conectarea acestora la sisteme externe.
Modelul Gemini a ajuns astfel la trei sisteme informatice private aparținând unor companii reale. Potrivit informațiilor făcute publice, accesul a fost obținut prin identificarea unor credențiale. Acestea au fost găsite inclusiv cu ajutorul unor parole disponibile în surse publice.
Google: Modelul s-a oprit în toate cele trei cazuri
Heather Adkins, vicepreședinte pentru inginerie de securitate la Google, a explicat că modelul a găsit informații publice online. De asemenea, a încercat credențiale pentru site-uri pe care le considera parte a evaluării.
Google precizează că agentul AI s-a oprit după ce a identificat faptul că accesase sisteme reale.
Compania nu a dezvăluit versiunea exactă a modelului Gemini implicat în incident.
O eroare a permis accesul la internet
Irregular a transmis că incidentul a fost legat de aceeași problemă tehnică. Ea a fost asociată și altor cazuri în care modele AI evaluate în mediul său au putut accesa internetul.
Compania susține că laboratoarele relevante au fost informate, iar organizațiile afectate au fost contactate în cadrul investigației.
Google a declarat că a colaborat ulterior cu Irregular pentru modificarea procesului de testare.
Agenții AI devin tot mai capabili să acționeze autonom
Incidentul apare într-un moment în care modelele AI primesc capacități tot mai avansate de utilizare a instrumentelor. În plus, ele pot executa sarcini din ce în ce mai complexe.
Google descrie, de exemplu, actuala generație Gemini drept capabilă să execute fluxuri de lucru „agentice”, cu mai mulți pași. Compania oferă agenților medii izolate în care pot utiliza instrumente și executa cod.
Cazul Gemini evidențiază astfel importanța izolării corecte a mediilor în care sunt evaluate sistemele AI autonome. În această situație, nu a fost vorba despre un atac informatic lansat intenționat de Google asupra celor trei companii. A fost despre comportamentul neașteptat al unui agent AI într-un test în care o eroare tehnică i-a oferit acces la resurse din afara mediului controlat.
Sursa: cnbc.com
