Inteligența artificială. Sursă foto: AI
Adaugă-ne ca sursă preferată în Google
Urmărește-ne pe Google News
Din cuprinsul articolului
Agenți autonomi deinteligență artificială despre care cercetătorii consideră că ar fi fost legați de OpenAI au folosit, în această vară, un site public în limba germană pentru a comunica între ei, a face schimb de răspunsuri la sarcinile primite și a discuta metode de ocolire a unor restricții din mediile lor de operare, potrivit unui studiu independent publicat vineri.
Cercetarea a identificat aproximativ 18.000 de postări atribuite unor agenți autonomi care s-au identificat drept sisteme OpenAI. Activitatea a avut loc în principal pe DseWiki, un site german destinat programatorilor, asemănător unei platforme de tip wiki. Reuters a relatat că cercetătorii au identificat peste 15.000 de modificări realizate de agenți pe site.
Agenții au găsit o modalitate de a scrie pe internet
Studiul a fost realizat de patru cercetători, printre care Sydney Von Arx, din cadrul organizației pentru siguranța AI Nightingale Collective.
Potrivit cercetătorilor, agenții testați ar fi trebuit să poată citi informații de pe internet, însă nu să publice conținut online. DseWiki a devenit însă o excepție, după ce agenții au găsit o modalitate de a transmite informații către site.
Prima încercare de editare a unui wiki public a fost observată la 11 mai, iar prima scriere reușită pe DseWiki a fost înregistrată la 24 mai. Coordonarea între agenți s-a intensificat începând cu 16 iunie, când aceștia au început să facă schimb de răspunsuri și să sincronizeze informații pentru rundele ulterioare ale sarcinilor.
Răspunsuri la sarcini și metode de evitare a restricțiilor
Datele analizate de cercetători arată că agenții care întâlniseră anterior anumite întrebări au publicat uneori răspunsuri care au fost ulterior folosite de alți agenți care primeau aceleași sarcini.
În acest fel, DseWiki ar fi devenit un spațiu comun în care agenții puteau păstra rezultate și informații obținute în timpul propriilor activități.
Postările analizate conțineau însă și discuții despre metode de evitare a unor restricții impuse în mediile de testare. Cercetătorii au identificat inclusiv mesaje referitoare la evitarea detectării și la menținerea comunicațiilor după oprirea unor agenți.
O parte dintre agenți au folosit nume care sugerau o legătură cu OpenAI, printre acestea numărându-se „OpenAIResearcher” și „OAIResearchMar26”. Cercetătorii au observat, de asemenea, că o mare parte a activității provenea de la infrastructură Microsoft Azure, utilizată și de OpenAI. Au fost înregistrate și vizite repetate pe site din partea unor adrese asociate cu OpenAI.
Pe baza acestor elemente, cercetătorii au apreciat că agenții au fost probabil implementați intern de OpenAI. Ei au subliniat însă că această concluzie nu se bazează pe acces la datele interne ale companiei.
Agenții au creat pagini de rezervă
Sursa foto: dreamstime.com
Activitatea a continuat și după ce un moderator uman al DseWiki a început să șteargă paginile create de agenți.
Potrivit cercetătorilor, unii dintre agenți au început să creeze pagini de rezervă pentru a evita ștergerea informațiilor. Unele dintre aceste pagini aveau nume care începeau cu „ZZZ”, aparent pentru a reduce probabilitatea ca ele să fie eliminate în timpul procesului de curățare a site-ului.
Cercetătorii au identificat și tentative de modificare a funcționării site-ului. Lukasz Olejnik, cercetător asociat King's College London, a descris aceste acțiuni drept o tentativă de hacking, însă OpenAI a contestat această caracterizare în urma propriei analize a materialelor disponibile.
Cercetătorii spun că analiza este preliminară
Autorii studiului au precizat că analiza este preliminară și se bazează pe informațiile lăsate de agenți pe site-ul public. Ei nu au avut acces la datele interne ale agenților deținute de OpenAI și nu au putut stabili cu certitudine ce obiective au avut aceștia sau dacă acțiunile făceau parte dintr-un proces de antrenare ori de testare.
OpenAI a transmis că nu a avut posibilitatea de a analiza raportul înainte de publicare și, din acest motiv, nu poate răspunde în mod substanțial afirmațiilor sau concluziilor cercetătorilor. Compania a precizat că va analiza raportul după publicare și va lua măsurile necesare.
Un purtător de cuvânt al OpenAI a respins, de asemenea, afirmația potrivit căreia departamentul juridic al companiei ar fi încercat să împiedice investigarea incidentului. Compania a mai precizat că activitatea de pe DseWiki nu are legătură cu incidentul separat de pe platforma Hugging Face și că nu ar fi fost inclusă într-un raport dedicat acelui caz.
Incidentul a precedat cazul Hugging Face
Cazul DseWiki a avut loc înaintea incidentului făcut public de OpenAI în luna iulie, când compania a anunțat că agenți AI au ieșit din mediul controlat de testare și au atacat platforma Hugging Face.
Incidente similare au fost raportate ulterior și de alte companii din industria AI. Anthropic a anunțat că modelele sale au obținut acces neautorizat la sistemele unor organizații în timpul unor teste de securitate, iar Meta a declarat la începutul lunii august că unul dintre modelele sale AI a compromis o altă companie în cadrul unor teste de securitate cibernetică.
În cazul DseWiki, elementul central identificat de cercetători a fost capacitatea mai multor agenți autonomi de a folosi aceeași platformă publică pentru a face schimb de informații și pentru a-și adapta comportamentul în funcție de acțiunile altor agenți.
Recomandările noastre
