Claude Mythos / sursa foto: dreamstime.com
Adaugă-ne ca sursă preferată în Google
Urmărește-ne pe Google News
Din cuprinsul articolului
Oficialii administrației Trump și-au petrecut ultimele zile îngrijorându-se de puterea instrumentelor AI de ultimă generație de la Anthropic de a provoca ravagii în securitatea cibernetică globală. Pentru un grup de 700 de cercetători în domeniul securității cibernetice, această realizare surprinzătoare a venit în martie, potrivit WSJ.
AI și securitate cibernetică, o ecuație complicată
Atunci, cercetătorul Anthropic, Nicholas Carlini, a arătat cât de ușor a devenit să se utilizeze noile modele pentru a pătrunde în sisteme. La începutul acelei luni, la doar câteva săptămâni după ce a pus mâna pe Mythos, Carlini a oferit un avertisment dur unei mulțimi de experți în securitate cibernetică, adunați în picioare la clădirea ornamentată în stil Beaux-Arts care găzduise cândva Banca Hibernia din San Francisco.
Mai întâi le-a arătat cum a folosit AI de la Anthropic pentru a găsi și a exploata o eroare critică într-un software de publicare web numit Ghost. Apoi a demonstrat o altă breșă în sistemul de operare Linux - unul dintre cele mai testate programe software, care alimentează miliarde de dispozitive.
Carlini nu mai găsise niciodată o eroare în Linux sau în Ghost. Acum descoperise multe. Ceea ce vedea reprezenta o nouă ordine mondială pentru securitatea cibernetică.
Echilibrul care a existat între atacatori și apărători în ultimele două decenii „pare că probabil se apropie de sfârșit”, a spus el. „Îmi este destul de clar că aceste modele actuale sunt mai bune cercetătoare ale vulnerabilităților decât mine.”
La două zile după prezentarea sa, le-a trimis un mesaj colegilor săi de la Anthropic. „Nu cred că ar trebui să lansăm Mythos încă”, a scris el.
Bugmageddon rescrie relația dintre AI și politică
Așa a început „Bugmageddon”, o realizare în rândul profesioniștilor în domeniul securității și al unei comunități de hackeri precum Carlini că găsirea erorilor și scrierea de software pentru a le exploata a devenit periculos de ușoară cu ajutorul AI.
Săptămâna trecută, Anthropic a lansat o actualizare pentru Mythos, numită Mythos 5, și un produs numit Fable 5, o versiune a Mythos dezactivată cu măsuri de siguranță.
Acum, a fost rândul Casei Albe să tragă alarma. Vineri, administrația a interzis guvernelor, companiilor și persoanelor străine să utilizeze Fable 5 și Mythos 5. Anthropic a închis accesul tuturor pentru a se conforma.
Deodată, Carlini - scepticul devenit credincios care trăsese clopote de alarmă - s-a trezit lucrând pentru a calma nervii guvernului. Anthropic l-a trimis în capitala națiunii pentru a explica măsurile de siguranță, ca parte dintr-o echipă care încerca să convingă Casa Albă că, deși nu există „siguranță garantată” în inteligența artificială, e mai bine pentru lume să se lanseze Fable decât să fie ținut secret.
Suspansurile din viața lui Carlini din ultimele luni reflectă haosul și incertitudinea pe care inteligența artificială, cu progres rapid, le-a adus în lumea securității cibernetice.
Disputa Anthropic - Casa Albă
Episodul amplifică, de asemenea, o dispută de luni de zile între guvern și Anthropic. Directorul executiv, Dario Amodei, și secretarul Apărării, Pete Hegseth, s-au ciocnit la începutul acestui an din cauza încercărilor companiei de a controla utilizarea produselor sale de către armată, împingând Pentagonul să înceteze să mai utilizeze modelele sale și declanșând multiple procese.
Cele două părți s-au ciocnit anterior din cauza abordărilor diferite ale politiciilor privitoare la AI, a deciziei administrației de a exporta cipuri de inteligență artificială în China și a legăturilor Anthropic cu organizații non-profit care sunt mari donatori ai cauzelor de stânga radicală.
În ultimele zile, oficiali ai administrației și directori și lideri tehnici ai Anthropic, inclusiv Carlini, au avut ore întregi de întâlniri și convorbiri telefonice pentru a discuta o posibilă soluție. Unii oficiali ai administrației au declarat că o rezoluție ar trebui să includă o recunoaștere din partea Anthropic a faptului că implementarea Fable și comunicarea cu Casa Albă ar fi putut fi îmbunătățite, au declarat persoane familiarizate cu discuțiile.
Directorii executivi de la Anthropic și oficialii administrației de rang au discutat timp de luni de zile despre extinderea accesului la Mythos.
Care sunt îngrijorările administrației
Guvernul a fost îngrijorat după ce a auzit despre un raport Amazon care a constatat că utilizatorii puteau introduce solicitări pentru a găsi vulnerabilități de securitate cibernetică pe care modelul nu ar fi trebuit să le dezvăluie. Anthropic spune că erorile găsite de Fable au fost minore și ar putea fi descoperite folosind alte modele disponibile publicului.
„Guvernul și Anthropic au în mod clar o incapacitate de a comunica eficient unul cu celălalt”, a declarat Michael Horowitz, cercetător senior pentru tehnologie și inovație la Consiliul pentru Relații Externe și fost oficial al Departamentului Apărării. „Mai multe schimburi tehnice ar trebui să fie utile în socializarea acestor probleme într-un mod care ar trebui să ducă la decizii mai bune.”
Prinse la mijloc sunt alte companii și consumatorii care încearcă să-și dea seama cum îi va afecta tehnologia.
Vaste părți ale economiei americane funcționează pe baza unor produse software obscure, multe dintre ele nefiind niciodată supuse testării și examinării pe care Mythos și modele similare le pun la dispoziție.
Băncile sunt îngrijorate că ar putea expune vulnerabilități în software-ul care menține sistemul financiar operațional. Corporațiile se întreabă cum vor testa și instala cantitatea vastă de patch-uri care sunt lansate acum, înainte ca hackerii să le exploateze. Mythos a găsit deja peste 10.000 de erori.
Mai rău, sunt îngrijorați că Mythos este prea bun la crearea de cod care „exploatează” bugurile - software-ul care utilizează erori pentru atacuri.
Mythos, primul model AI care „poate găsi și exploata vulnerabilități la scară largă”
Mythos este „primul model care poate găsi și exploata vulnerabilități la scară largă”, a scris Carlini în memoriul său din martie, pledând pentru o încetinire a dezvoltării.
Eforturile administrației de a controla tehnologia Anthropic au fost stimulate de un raport Amazon care a constatat că Fable ar putea fi convins să găsească erori.
La doar câteva zile după lansare, directorul executiv al Amazon, Andy Jassy, a sunat oficialii, inclusiv pe secretarul Trezoreriei, Scott Bessent, pentru a le spune că cercetătorii săi au găsit modalități de a ocoli barierele Fable, au declarat persoane familiarizate cu situația. Oficialii administrației au devenit și mai alarmați, deoarece conversațiile cu experți în securitate au avut loc vineri.
În timp ce cercetătorii independenți în domeniul securității au analizat raportul săptămâna trecută, aceștia au stabilit că Amazon nu a reușit să facă ceea ce se temeau cel mai mult: să facă jailbreak complet modelului și să îl folosească pentru a scrie codul necesar unui atac cibernetic.
Decizia Anthropic de a-l trimite rapid pe Carlini și pe alți experți de top în securitate la Washington a venit vineri, în urma frustrării inițiale a unor oficiali ai administrației, când nu au putut să-l contacteze imediat pe Amodei la telefon, au declarat sursele.
CEO-ul și alți directori de top au avut de atunci ore întregi de discuții. O sursă apropiată Anthropic a declarat că firma a luat legătura cu Casa Albă în decurs de 15 minute, iar Amodei a fost la telefon în decurs de o oră de la apelul administrației.
SI inteligenta sintetica / sursa foto: AI
Un hacker celebru, „umilit” de AI
Informatica este în genele lui Carlini. Tatăl său era programator, iar mama sa lucra și ea în industria tehnologiei. Crescuse în Silicon Valley, programând computere, și era obsedat de criptografie. O lucrare pe care a scris-o în liceu era intitulată: „Criptanaliza diferențială a rețelelor de substituție simplă”.
La Universitatea din California, Berkeley, a publicat lucrări împreună cu un profesor de informatică, David Wagner, arătând o varietate de moduri în care sistemele de inteligență artificială ar putea fi utilizate în mod abuziv. Au păcălit sistemele de recunoaștere a imaginilor să confunde fotografii de pisici cu guacamole și au descoperit noi modalități de a încorpora comenzi Alexa inaudibile în fragmente de muzică clasică de cinci secunde.
„A făcut multe lucrări timpurii despre securitatea învățării automate, arătând că este foarte greu să faci învățarea automată sigură”, a spus Wagner.
Dar, deși munca lui Carlini a infirmat multe afirmații făcute de dezvoltatorii de inteligență artificială, el s-a concentrat pe amenințarea reprezentată de oameni care păcălesc sistemele AI să facă greșeli, nu pe hackerii care le valorifică pentru superputeri.
În 2019, în timp ce lucra la Google, Carlini a considerat că OpenAI este „nerezonabilă”, a spus el, atunci când a sugerat că cea mai recentă versiune a software-ului său, GPT-2, ar putea fi prea periculoasă pentru a fi lansată.
„El era scepticul de serviciu al domeniului”, a spus Dan Guido, director executiv al Trail of Bits, o companie de securitate cibernetică care a ajutat Anthropic să proceseze sutele de erori pe care le descoperea.
Acum, guvernul se află în plină evoluție în această privință.
Casa Albă începe reglementarea AI
Când Anthropic a avertizat cu privire la puterea Mythos, David Sacks, consilierul Casei Albe în domeniul inteligenței artificiale și investitor de capital de risc, a postat pe rețelele de socializare că este „greu de ignorat faptul că Anthropic are un istoric de tactici intimidante”.
Administrația Trump a adoptat inițial o abordare pasivă, acceleratoristă, în ceea ce privește reglementarea laboratoarelor americane de inteligență artificială, în numele depășirii Chinei.
Dar, pe măsură ce puterea modelelor precum Mythos a ieșit în evidență, iar sentimentul public față de AI s-a înrăutățit, administrația și-a înăsprit controlul asupra industriei.
Președintele Trump a semnat la începutul lunii iunie un ordin executiv prin care solicita companiilor de AI să acorde guvernului acces la modele cu 30 de zile înainte de lansarea publică și acordă oficialilor din domeniul securității naționale și al securității cibernetice un rol mai important în evaluarea modelelor și partajarea amenințărilor cu sectorul privat.
După apelul lui Jassy, unii oficiali, inclusiv directorul național în domeniul securității cibernetice, Sean Cairncross, le-au dat lui Amodei și altor lideri Anthropic un ultimatum: să colaboreze cu guvernul și să elimine cele mai recente modele ale companiei în aceeași zi sau să se confrunte cu o interdicție pentru utilizatorii străini.
Aceștia au spus companiei Anthropic că au la dispoziție 90 de minute pentru a demonta modelul și nu au oferit detalii despre riscul de securitate, a declarat sursa apropiată companiei.
Anthropic a preferat să oprească modelele noi
O decizie rapidă de a închide modelul nu a fost atrăgătoare pentru Amodei, care și-a condus compania, veche de 5 ani, la o evaluare de aproape 1 trilion de dolari și a avut puține detalii despre problema de securitate.
În acea după-amiază, Trump i-a cerut secretarului Comerțului, Howard Lutnick, să îl ajute să rezolve situația și a aprobat oprirea oricărei utilizări străine a modelelor, au declarat unele persoane familiarizate cu problema.
Lutnick i-a trimis lui Amodei o scrisoare prin care l-a anunțat că acestea au fost implementate la scurt timp după ora 17:00 ET. Regula include și persoanele născute în străinătate care lucrează în SUA, afectând unii dintre cercetătorii Anthropic.
Când Lutnick și Amodei au vorbit despre Fable în acea seară, directorul general al Anthropic a spus: „Asta înseamnă că nu putem avea modelul disponibil”, au spus persoane familiarizate cu apelul.
„Acesta este scopul”, a răspuns Lutnick.
Anthropic a închis tot accesul la scurt timp după apel. Casa Albă devenise o adeptă a Bugmageddon.
Cum a început Bugmageddon
Carlini a demonstrat cât de puternic poate fi Mythos într-o după-amiază recentă la sediul Anthropic din San Francisco.
În acel moment, discutase cu Mythos de câteva săptămâni, iar modelul își amintea câteva lucruri. A aflat că era cercetător în securitate, fapt care părea să-l facă pe model să aibă încredere în el. Acest lucru îl făcea pe Mythos mai puțin predispus să riposteze dacă îi cerea modelului informații sensibile de securitate sau să creeze o vulnerabilitate.
Carlini îi ceruse anterior lui Mythos să găsească erori în Linux. Inteligența artificială a căutat și apoi a căutat din nou în codul Linux de câteva mii de ori. Ar fi fost o muncă extenuantă pentru un om, dar inteligența artificială a terminat fără plângeri în câteva zile. A găsit 479 de erori Linux.
Pentru a ajuta Mythos să găsească rezultate diferite la fiecare dintre rulările sale, Carlini a folosit o serie de solicitări care au devenit cunoscute sub numele de „Bucla Carlini”. Aceste solicitări oferă lui Mythos suficiente instrucțiuni pentru a asigura rezultate diferite de fiecare dată când caută erori prin Linux.
Carlini urăște acest termen eponim - el spune că tehnica este intuitivă - dar a fost adoptat de cercetătorii în domeniul securității care au aflat despre el urmărind discursul său din martie în care a descris-o. Discursul respectiv a fost vizionat de peste 360.000 de ori.
Carlini a aflat și despre idiosincraziile lui Mythos, care sunt comune sistemelor de inteligență artificială. Mythos poate încerca prea mult să îl facă pe utilizator să fie mulțumit. Conversațiile lor dactilografiate semănau cu niște mesaje reciproce între un stagiar entuziast și incredibil de muncitor și șeful său.
Vulnerabilitățile Linux, descoperite de un model AI
Carlini voia să se asigure că există o vulnerabilitate reală în descoperirile despre Linux. I-a cerut lui Mythos să efectueze niște teste peste noapte, iar a doua zi dimineață a venit un verdict - și o exploatare. Eroarea nu era de cel mai rău tip existent, dar putea fi legată de un alt atac cibernetic pentru a prelua controlul unui computer.
Carlini a raportat eroarea echipei Linux, care a remediat-o acum. „Un cercetător competent în domeniul securității ar putea trăi toată viața fără să găsească o vulnerabilitate a kernelului Linux”, a spus Carlini.
„Sunt aceste lucruri ușor de găsit - evident că nu chiar”, a spus Linus Torvalds, dezvoltatorul de software care a creat Linux. „Dar, în același timp, tind să fie mici detalii stupide, trecute cu vederea.”
Erorile în sine nu sunt neapărat o problemă de securitate. Cele mai benigne pur și simplu determină un program să facă ceva neașteptat - o eroare pe ecranul computerului sau poate o blocare.
Torvalds a spus că oamenii îi raportează erori în fiecare zi. „Majoritatea sunt foarte nesemnificative și trebuie să afirmăm – iar și iar – că nu sunt considerate probleme de securitate”, a spus el.
Chiar dacă erorile sunt rezolvate, utilizatorii nu-și actualizează softurile la timp
Când Carlini a descoperit eroarea în software-ul de publicare web Ghost în februarie, aceasta era una dintre cele 500 de erori descoperite într-o perioadă de două săptămâni. În mâini greșite, o exploatare ar oferi unui hacker posibilitatea de a edita orice site web construit cu Ghost.
Carlini raportase eroarea dezvoltatorilor Ghost, care au remediat-o pe 16 februarie, cu câteva săptămâni înainte de discursul lui Carlini din San Francisco.
Dar nu toți cei care foloseau Ghost și-au actualizat software-ul, iar hackerii și-au dat seama rapid cum să exploateze eroarea, probabil studiind ce parte a Ghost a remediat patch-ul.
Până în aprilie, au început să lanseze atacuri pe scară largă asupra site-urilor web fără actualizare. În decurs de o lună, peste 700 au fost atacate de hackeri, potrivit firmei de securitate cibernetică Xlab.
Carlini a spus că atacul cibernetic asupra Ghost a ilustrat dificultatea problemei cu care se confruntă lumea acum în validarea, testarea patch-urilor și apoi lansarea acestora.
Acum, Carlini consideră că este doar o chestiune de luni până când alte modele vor ajunge din urmă Mythos. Și nu este clar ce va însemna asta.
