O echipă de cercetători americani a identificat un mecanism matematic care ar putea ajuta la detectarea momentelor în care un model de inteligență artificială își schimbă brusc comportamentul. De asemenea, acesta începe să genereze răspunsuri nesigure. Studiul, publicat în revista științifică Patterns, sugerează că ordinea întrebărilor adresate unui sistem AI poate influența semnificativ răspunsurile acestuia.
Descoperirea ar putea contribui la dezvoltarea unor metode mai eficiente de monitorizare a inteligenței artificiale. Acest fapt este important mai ales în situațiile în care sistemele sunt utilizate pentru activități sensibile sau funcționează fără acces permanent la servicii externe de siguranță. Cercetarea nu demonstrează însă că există o formulă universală care poate prezice orice comportament periculos al inteligenței artificiale.
Cercetătorii au identificat un posibil „punct de basculare” al inteligenței artificiale
Studiul a fost realizat de profesorul de fizică Neil Johnson și cercetătorul Frank Yingjie Huo, de la George Washington University, din Statele Unite. Cei doi au analizat modul în care anumite modele lingvistice procesează informațiile primite. De asemenea, au studiat felul în care comportamentul acestora poate varia în funcție de context. Cercetătorii au observat că, în anumite condiții, sistemele pot trece relativ brusc de la răspunsuri considerate adecvate la rezultate problematice.
Acest fenomen este descris prin conceptul de punct de basculare. Acest concept este utilizat și în fizică pentru a explica schimbările rapide care apar într-un sistem atunci când sunt depășite anumite condiții. În cazul inteligenței artificiale, ideea este că modificări aparent minore ale contextului unei conversații pot produce diferențe importante în răspunsurile generate.
De ce contează ordinea întrebărilor adresate unui chatbot
Una dintre concluziile cercetării este că un model AI nu interpretează întotdeauna o întrebare independent de mesajele anterioare. Contextul conversației poate influența modul în care sistemul procesează o solicitare și construiește răspunsul.
În experimentele realizate cu modelul GPT-2, cercetătorii au analizat inclusiv întrebări referitoare la vaccinuri. Potrivit rezultatelor prezentate, plasarea aceleiași întrebări în poziții diferite ale unei secvențe de mesaje a fost asociată cu schimbări ale comportamentului modelului. În anumite configurații, răspunsurile au rămas în limitele considerate acceptabile de cercetători. În altele, au apărut rezultate evaluate drept problematice.
Concluzia importantă este că formularea unei întrebări nu reprezintă singurul factor care influențează răspunsul unui sistem AI. Contează și informațiile care o precedă.
Acest aspect este relevant pentru utilizatorii care poartă conversații lungi cu asistenți virtuali. În plus, este important și pentru cei care folosesc inteligența artificială pentru sarcini care implică mai multe instrucțiuni succesive.
Cum funcționează mecanismul matematic propus
Pentru a înțelege schimbările de comportament, autorii au studiat reprezentările interne ale modelelor lingvistice. Un element important al analizei este așa-numitul vector rezidual, care face parte din mecanismul prin care informațiile sunt transmise și transformate în interiorul anumitor rețele neuronale. Cercetătorii au urmărit modul în care evoluția acestor reprezentări poate fi asociată cu tipul de răspuns produs de model.
Pe baza observațiilor, au propus o relație matematică destinată estimării probabilității apariției unei schimbări de comportament. Metoda nu presupune că inteligența artificială are intenții proprii sau că decide conștient să ofere informații dăunătoare. Este vorba despre identificarea unor tipare matematice în procesarea informațiilor. Aceste tipare ar putea semnala un risc crescut de generare a unor răspunsuri nedorite.
Formula a fost testată pe GPT-2, Pythia și OPT
Pentru verificarea ipotezei, cercetătorii au utilizat modele lingvistice cu arhitecturi și dimensiuni diferite.
Printre sistemele analizate se numără:
- GPT-2, un model lingvistic dezvoltat de OpenAI;
- Pythia, o familie de modele utilizate în cercetarea comportamentului sistemelor AI;
- OPT, o familie de modele lingvistice dezvoltată de Meta.
Experimentele au urmărit dacă mecanismul matematic poate identifica situațiile în care comportamentul modelului se modifică semnificativ. Rezultatele sugerează că analiza stărilor interne ar putea avea utilitate ca instrument de avertizare timpurie.
Totuși, testele realizate pe aceste modele nu sunt suficiente pentru a demonstra că aceeași metodă funcționează la fel de bine pentru toate sistemele moderne de inteligență artificială.
Ar putea fi detectate răspunsurile periculoase înainte să apară?
Aceasta este una dintre direcțiile importante deschise de cercetare. În prezent, dezvoltatorii de inteligență artificială folosesc diferite metode pentru reducerea răspunsurilor nesigure. Printre acestea se numără antrenarea modelelor pentru respectarea unor reguli și utilizarea unor mecanisme suplimentare de protecție. Autorii studiului consideră că analiza comportamentului intern al modelelor ar putea completa aceste metode.
În loc să fie verificat exclusiv răspunsul final, un sistem de monitorizare ar putea urmări anumite semnale matematice care apar în timpul procesării informațiilor. O astfel de abordare ar putea fi relevantă inclusiv pentru modelele instalate local. Prin urmare, astfel de modele nu depind permanent de servicii de filtrare disponibile prin internet.
Cu toate acestea, identificarea unui indicator de risc nu echivalează cu prevenirea automată a unui răspuns periculos. Pentru utilizarea practică ar fi necesare teste suplimentare. Printre aceste teste se numără inclusiv evaluarea alarmelor false și a situațiilor în care metoda nu detectează un comportament problematic.
Experții avertizează că inteligența artificială este mult mai complexă
Rezultatele studiului au atras atenția cercetătorilor interesați de siguranța sistemelor AI, dar au fost însoțite și de rezerve. Wei Xing, de la University of Sheffield, a subliniat că un model matematic simplificat nu poate surprinde neapărat toate mecanismele unui sistem lingvistic complex.
O altă limitare importantă este faptul că metoda nu a fost validată, în cercetarea prezentată, pe cele mai recente modele comerciale de inteligență artificială. Prin urmare, nu se poate afirma că formula ar putea anticipa cu precizie comportamentul tuturor chatboturilor utilizate în prezent. De asemenea, noțiunea de răspuns „periculos” depinde de criteriile folosite în evaluare și de contextul în care este generat conținutul.
Ce înseamnă descoperirea pentru utilizatorii ChatGPT și ai altor sisteme AI
Pentru utilizatorii obișnuiți, studiul oferă o explicație suplimentară pentru situațiile în care un asistent AI răspunde diferit la întrebări asemănătoare. Răspunsurile pot fi influențate de istoricul conversației, de formularea instrucțiunilor și de modul în care modelul procesează informațiile anterioare.
Acest lucru nu înseamnă că fiecare conversație lungă va produce răspunsuri nesigure. De asemenea, nu înseamnă că un model AI devine inevitabil periculos după un anumit număr de întrebări. Cercetarea arată însă că siguranța unui sistem AI trebuie evaluată și în funcție de contextul conversației, nu doar prin testarea unor întrebări izolate. În domenii precum sănătatea, finanțele sau siguranța personală, informațiile generate de inteligența artificială trebuie verificate prin surse credibile. De asemenea, atunci când este necesar, acestea trebuie verificate prin consultarea unor specialiști.
Un nou pas în cercetarea siguranței inteligenței artificiale
Studiul publicat în Patterns propune o abordare diferită pentru înțelegerea comportamentului modelelor lingvistice. Mai exact, este vorba despre folosirea unor instrumente matematice pentru identificarea schimbărilor interne asociate cu răspunsuri nesigure. Rezultatele indică posibilitatea dezvoltării unor sisteme de avertizare. Totuși, aceste rezultate nu reprezintă încă o soluție completă pentru prevenirea tuturor riscurilor generate de inteligența artificială.
Principala concluzie este că ordinea și contextul întrebărilor pot influența semnificativ comportamentul unor modele AI. De asemenea, anumite schimbări ar putea fi anticipate prin analiza proceselor lor interne. Validarea metodei pe sisteme mai noi și în condiții reale de utilizare va fi esențială pentru a stabili cât de utilă poate deveni această descoperire.
Sursa: Descopera.ro
