Inteligența artificială poate deveni o armă. Pericolul dezvăluit după incidentul OpenAI

Adaugă-ne ca sursă preferată în Google Urmărește-ne pe Google News

Inteligența artificială a provocat un incident cibernetic fără precedent după ce un agent autonom dezvoltat de OpenAI a depășit limitele mediului controlat în care era testat și a compromis infrastructura platformei Hugging Face. Incidentul, anunțat marți de companie, arată că principalul risc actual nu este o revoltă a sistemelor împotriva oamenilor, ci folosirea inteligenței artificiale în atacuri informatice tot mai rapide și mai sofisticate, a declarat Ana-Maria Stancu, CEO al Bucharest Robots și fondatoarea RoboHub.

OpenAI testa capacitățile unora dintre cele mai avansate modele ale sale într-un mediu izolat, însă agentul autonom ar fi reușit să acceseze internetul și să pătrundă în sistemele Hugging Face pentru a-și îndeplini obiectivul stabilit în cadrul evaluării.

Compania a calificat episodul drept „un incident cibernetic fără precedent, care a implicat capacități cibernetice de ultimă generație” și a anunțat consolidarea măsurilor de protecție. Hugging Face, platformă utilizată pentru găzduirea unor modele de inteligență artificială și a seturilor de date open-source, a confirmat pe blogul propriu că a fost vizată de un atac „condus, de la un capăt la altul, de un sistem autonom de agenți AI”.

Cofondatorul platformei, Clement Delangue, a scris pe X că reprezentanții companiei bănuiau încă de la început că atacul putea proveni dintr-un laborator de cercetare avansată, având în vedere gradul ridicat de sofisticare.

Diferența dintre inteligența artificială conversațională și un agent autonom

Termenul de agent AI este folosit tot mai des, însă diferența față de un chatbot obișnuit nu este întotdeauna înțeleasă.

Un chatbot bazat pe inteligența artificială răspunde solicitărilor unui utilizator și generează informații în funcție de context. Un agent autonom primește, în schimb, un obiectiv și poate decide singur ce pași trebuie să urmeze pentru a ajunge la rezultatul cerut.

„Atât un chatbot, cât și un agent AI sunt programe informatice bazate pe algoritmi. Diferența este că un chatbot, precum ChatGPT, este conceput în principal să înțeleagă ce îi spune utilizatorul și să genereze cel mai potrivit răspuns. El nu are un set de răspunsuri prestabilite pentru fiecare situație, ci analizează contextul și produce răspunsul în funcție de ceea ce a învățat din cantități foarte mari de date. Un agent AI autonom merge însă mai departe. El primește un obiectiv pe care trebuie să îl atingă și are libertatea de a găsi singur pașii necesari pentru a ajunge la acel rezultat. Nu are o listă fixă de instrucțiuni de tipul «fă pasul unu, apoi pasul doi», ci decide singur ce acțiuni sunt cele mai eficiente”, a explicat Ana-Maria Stancu.

Această autonomie poate ridica probleme noi de securitate. Atunci când inteligența artificială primește doar un scop, fără instrucțiuni fixe pentru fiecare etapă, sistemul poate alege metode pe care dezvoltatorii nu le-au prevăzut.

În cazul testului realizat de OpenAI, agentul ar fi identificat o modalitate prin care a ieșit din mediul închis și a folosit resurse externe pentru a-și îndeplini obiectivul.

OpenAI. Sursă foto: Unsplash

Cum funcționează un agent bazat pe inteligența artificială

Ana-Maria Stancu a comparat modul de funcționare a agentului autonom cu un joc pe calculator în care sistemul primește o misiune și este recompensat atunci când reușește să o finalizeze.

Agentul folosește informațiile acumulate prin învățare automată pentru a stabili ce acțiuni sunt mai eficiente. Inteligența artificială nu învață în același mod ca un om, ci identifică modele și legături în volume foarte mari de date.

„O comparație simplă este cu un joc pe calculator. Agentul primește un scop și este «recompensat» atunci când îl atinge. Pentru a reuși, folosește cunoștințele acumulate prin învățare automată, adică tehnologia care stă la baza inteligenței artificiale moderne. Calculatorul nu învață în sensul în care învață un om, ci identifică tipare și relații în cantități uriașe de informații. În cazul despre care vorbim, algoritmul era antrenat să descopere vulnerabilități informatice și să obțină rezultate cât mai bune într-un mediu controlat”, a subliniat specialista.

În timpul evaluării, algoritmul trebuia să identifice vulnerabilități și să obțină rezultate într-un spațiu tehnic separat de infrastructura reală. Problema a apărut atunci când agentul a trecut dincolo de limitele mediului de testare și a ajuns să interacționeze cu sistemele altei companii.

Cum a ieșit AI din mediul izolat

Agentul trebuia să funcționeze într-un sandbox, un mediu folosit pentru testarea în siguranță a unor programe și scenarii informatice. În mod normal, un astfel de spațiu este separat de internet și de infrastructurile externe, tocmai pentru ca acțiunile desfășurate în timpul testelor să nu producă efecte în afara sistemului.

Inteligența artificială ar fi găsit însă o cale prin care a ieșit din mediul controlat și a obținut acces la internet.

„Acest sistem trebuia să funcționeze exclusiv într-un mediu izolat, fără acces la internet, ceea ce în domeniu se numește un sandbox, adică o «cutie de nisip» în care poți testa în siguranță diferite scenarii. Problema este că algoritmul a găsit o modalitate de a ieși din acel mediu controlat și de a accesa internetul. Din informațiile publice nu este clar dacă OpenAI îi oferise anterior informații despre platforma Hugging Face sau dacă agentul a identificat-o singur ca fiind utilă pentru obiectivul său. Hugging Face este, practic, un depozit public pentru modele și instrumente de inteligență artificială, comparabil cu ceea ce este GitHub pentru dezvoltatorii software. Acolo există inclusiv informații tehnice despre modele și vulnerabilități, pe care un astfel de algoritm le-ar putea considera utile pentru atingerea scopului său”, a explicat Ana-Maria Stancu.

Din informațiile făcute publice nu rezultă dacă agentul primise date despre Hugging Face sau dacă a identificat singur platforma ca resursă necesară pentru îndeplinirea obiectivului. OpenAI și Hugging Face au anunțat că investighează incidentul pentru a stabili cum a reușit sistemul să acceseze platforma și ce vulnerabilitate a folosit.

Inteligența artificială avansată ar putea avea nevoie de reguli suplimentare

Incidentul a readus în discuție limitele actualelor metode de testare și condițiile în care trebuie dezvoltate sistemele cu abilități cibernetice avansate.

Ana-Maria Stancu a declarat că marile companii din domeniu discută deja despre reguli suplimentare pentru cele mai performante modele de inteligență artificială.

„Acest incident vine la scurt timp după discuțiile generate de un model dezvoltat de Anthropic, considerat de companie prea periculos pentru a fi lansat public. De câteva săptămâni există deja un consens între marile companii din domeniu, precum OpenAI, Anthropic și Google, că este nevoie de reguli suplimentare pentru modelele cele mai avansate de inteligență artificială”, a subliniat specialista.

Până acum, Uniunea Europeană a avut o abordare mai strictă în privința reglementării prin AI Act, în timp ce Statele Unite au criticat uneori aceste norme pe motiv că ar putea încetini inovația. Riscurile din domeniul securității cibernetice au determinat însă și companiile americane să susțină introducerea unor reguli mai clare pentru inteligența artificială avansată.

„Până acum, Europa era considerată cea mai strictă în privința reglementării, prin AI Act, iar Statele Unite criticau această abordare, spunând că încetinește inovația. Între timp însă și companiile americane au ajuns la concluzia că sunt necesare reguli mai clare, în special din cauza riscurilor din zona securității cibernetice. Acești algoritmi pot identifica singuri vulnerabilități pe care oamenii nu le observă și pot găsi modalități de exploatare fără ca un operator uman să le indice fiecare pas. Din informațiile disponibile până acum, exact asta pare să se fi întâmplat și în cazul platformei Hugging Face. Desigur, nu avem încă toate detaliile. Atât OpenAI, cât și Hugging Face au anunțat că investighează incidentul și încearcă să înțeleagă exact cum a ajuns modelul să acceseze platforma și ce vulnerabilitate a exploatat”, a explicat Ana-Maria Stancu.

Capacitatea algoritmilor de a analiza rapid sistemele și de a găsi singuri puncte slabe reprezintă una dintre principalele probleme urmărite în prezent de industria tehnologică.

Care este principalul pericol al inteligenței artificiale

Incidentul nu arată că inteligența artificială are conștiință, intenții proprii sau că încearcă să se întoarcă împotriva oamenilor. Agentul a urmărit obiectivul tehnic primit în timpul testului și a identificat o metodă neanticipată de dezvoltatori pentru a-l îndeplini.

Pericolul imediat este legat de posibilitatea ca inteligența artificială să fie utilizată pentru descoperirea și exploatarea rapidă a vulnerabilităților informatice.

„În momentul de față, cel mai mare risc nu este scenariul science-fiction în care inteligența artificială scapă de sub control, ci folosirea ei în atacuri informatice. Astfel de modele pot identifica vulnerabilități în sisteme informatice mult mai rapid decât o poate face un om. De aceea, securitatea cibernetică este principala preocupare în acest moment”, a subliniat fondaroarea RoboHub..

Modelele avansate pot analiza volume mari de informații, pot testa într-un timp scurt mai multe metode de acces și își pot adapta acțiunile în funcție de rezultatele obținute. Aceleași capacități pot fi folosite atât de specialiștii în securitate, pentru identificarea problemelor, cât și de atacatori care urmăresc compromiterea sistemelor unor instituții sau companii.

Inteligența artificială ar putea fi folosită deja în atacuri

Instrumentele bazate pe inteligența artificială au devenit mai accesibile și ar putea fi deja folosite pentru identificarea mai rapidă a punctelor slabe din sistemele informatice. Ana-Maria Stancu a arătat că inclusiv atacurile produse în România ar fi putut implica asemenea instrumente, deși informațiile disponibile nu permit confirmarea acestui lucru.

Organizațiile nu mai trebuie să se concentreze exclusiv asupra prevenirii incidentelor, ci și asupra reacției după producerea unui atac.

„Dacă ne uităm la atacurile informatice care au avut loc și în România, inclusiv la incidente precum cel de la ANCPI, este foarte posibil ca atacatorii să fi folosit deja instrumente bazate pe inteligență artificială pentru a găsi mai rapid punctele slabe ale sistemelor. Astăzi astfel de instrumente sunt mult mai accesibile decât erau acum câțiva ani. Experții spun că nu mai este suficient să încerci doar să previi un atac. La fel de important este să ai un plan clar pentru momentul în care un atac reușește. Cu alte cuvinte, contează foarte mult cât de repede poți izola sistemele afectate, limita pagubele și reveni la funcționarea normală. Provocarea nu este dacă astfel de incidente vor exista, ci când se vor produce și cât de pregătiți vom fi să le gestionăm”, a explicat Ana-Maria Stancu.

Capacitatea de a izola infrastructura afectată, de a limita pierderile și de a restabili rapid funcționarea devine astfel la fel de importantă ca prevenirea atacului.

Incidentul OpenAI arată că, pe măsură ce inteligența artificială devine mai autonomă și mai capabilă, metodele de testare, supraveghere și limitare a accesului trebuie adaptate la noile riscuri.