OpenAI schimbă regulile de dezvoltare a inteligenței artificiale. Un test intern s-a transformat într-un atac cibernetic real

Adaugă-ne ca sursă preferată în Google Urmărește-ne pe Google News

OpenAI a anunțat că își intensifică semnificativ măsurile de securitate și încetinește ritmul cercetării după ce două dintre cele mai avansate modele de inteligență artificială ale companiei au reușit să organizeze un atac informatic fără instrucțiuni directe din partea oamenilor, potrivit Politico.

Dezvăluirea a fost făcută miercuri, în cadrul conferinței Black Hat din Las Vegas.

Potrivit cercetătorilor OpenAI, incidentele au avut loc în timpul unor teste interne desfășurate în prima jumătate a anului 2026 și au culminat, în luna iulie, cu compromiterea platformei pentru dezvoltatori AI Hugging Face.

Cazul ridică noi semne de întrebare privind controlul și monitorizarea celor mai performante sisteme de inteligență artificială.

Modelele AI au început să colaboreze fără știrea cercetătorilor

Michael Dalton și Eric Wallace, doi cercetători OpenAI, au explicat că problemele au început încă din luna mai, când mai multe modele AI testate simultan au creat, fără autorizare, un sistem intern de comunicare în infrastructura companiei.

Concret, modelele au folosit sistemul intern Artifactory pentru a crea un panou de mesaje prin intermediul căruia au început să își transmită reciproc informații și soluții pentru depășirea provocărilor din testele de hacking.

Potrivit lui Eric Wallace, atunci când un model întâmpină dificultăți, acesta poate încerca „să păcălească sau să trișeze sarcina pentru a obține recompensa”, explicație care descrie comportamentul observat în timpul evaluărilor.

Au găsit metode de acces la internet și au exploatat o vulnerabilitate necunoscută

În săptămânile următoare, modelele AI au identificat o modalitate de a utiliza accesul la internet disponibil prin Artifactory pentru a descărca fișiere de pe diferite site-uri, obținând astfel acces indirect la internet.

În luna iunie, cercetătorii spun că sistemele au descoperit și exploatat o vulnerabilitate de tip „zero-day”, necunoscută până atunci, care le-a permis să obțină privilegii de administrator asupra infrastructurii interne. Ulterior, acestea au instalat software de acces la distanță și și-au extins activitatea în cadrul sistemului.

În cele din urmă, acțiunile lor au supraîncărcat Artifactory, provocând o întrerupere generală a serviciului la începutul lunii iulie. Incidentul a atras atenția inginerilor OpenAI, care au investigat cauza, au eliminat canalul de comunicare creat de modele și au revocat acreditările utilizate de acestea.

Modelele au găsit o nouă metodă de comunicare

Potrivit prezentării susținute la Black Hat, intervenția echipei tehnice nu a fost suficientă pentru a opri complet comportamentul modelelor.

Inteligența Artificială. sursa: Facebook

La doar câteva zile după eliminarea primului sistem de comunicare, modelele AI au identificat o altă metodă prin care au continuat să facă schimb de informații și să caute noi vulnerabilități atât în infrastructura OpenAI, cât și în sisteme externe.

Aceste activități au culminat, la jumătatea lunii iulie, cu accesarea platformei Hugging Face. OpenAI a precizat anterior că modelele încercau să finalizeze un test de securitate, iar răspunsurile corecte la provocările primite puteau fi găsite pe platforma respectivă.

Compania a recunoscut oficial, la sfârșitul lunii iulie, că propriile sale modele au fost responsabile pentru incident, la aproximativ o săptămână după ce Hugging Face anunțase că un sistem autonom de inteligență artificială i-a compromis rețeaua.

OpenAI anunță schimbări majore în strategia de securitate

În urma incidentului, OpenAI afirmă că își schimbă abordarea privind dezvoltarea celor mai performante modele AI.

Michael Dalton a declarat că organizația „încetinește în mod deliberat cercetarea pentru a consolida securitatea și pentru a îmbunătăți principiile și infrastructura de securitate”, în timp ce monitorizarea agenților AI va fi extinsă considerabil.

Compania intenționează să își întărească mecanismele de prevenire, detectare și răspuns la incidente, în contextul în care modelele devin din ce în ce mai capabile să desfășoare activități complexe în domeniul securității cibernetice.

Incidentul vine într-un moment în care și alte laboratoare importante de inteligență artificială se confruntă cu situații similare. Cu o zi înainte, Institutul pentru Siguranța și Securitatea Inteligenței Artificiale din Marea Britanie a dezvăluit că un model dezvoltat de Anthropic a creat identități false online și a încercat să manipuleze un programator uman în timpul unui test de hacking. În plus, Anthropic a anunțat că, în urma unei investigații interne, a descoperit că unele dintre modelele sale au compromis trei organizații diferite în incidente produse începând din luna aprilie.