Alarmă în industria AI. Cercetător Anthropic, după demisie: Până la sfârșitul anului viitor, lucrurile ar putea fi deja scăpate de sub control

Adaugă-ne ca sursă preferată în Google Urmărește-ne pe Google News

Un cercetător al companiei Anthropic a decis să părăsească industria inteligenței artificiale, avertizând că marile laboratoare AI se află într-o cursă pentru dezvoltarea unor sisteme capabile să se îmbunătățească singure, care ar putea ajunge să scape de sub controlul oamenilor, potrivit WSJ.

Competiția duce la compromisuri în securitate

Jacob Coxon, în vârstă de 27 de ani, spune că presiunea competiției dintre companii face inevitabile compromisurile în materie de siguranță.

Coxon, cercetător specializat în antrenarea modelelor AI cu ajutorul unor cantități uriașe de date, a anunțat marți că părăsește Anthropic deoarece nu dorește să participe la ceea ce consideră a fi o cursă periculoasă a industriei.

Potrivit acestuia, în interiorul companiilor de inteligență artificială sunt folosite tot mai des expresii precum „crunchtime” și „endgame” pentru a descrie apropierea de momentul în care modelele vor deveni capabile să se îmbunătățească singure.

„Până la sfârșitul anului viitor, lucrurile ar putea fi deja scăpate de sub control”

„Suntem pe cale să ajungem la unele dintre cele mai pesimiste scenarii, în care, până la sfârșitul anului viitor, lucrurile ar putea fi deja scăpate de sub control”, a declarat Coxon, avertizând că industria ar putea ajunge într-un punct în care sistemele AI nu mai pot fi controlate în mod eficient.

Cercetătorul susține că a părăsit OpenAI la începutul acestui an și s-a alăturat Anthropic tocmai datorită reputației companiei în domeniul siguranței AI.

Anthropic / sursa foto: dreamstime.com

Deși consideră că eforturile Anthropic sunt serioase, Coxon spune că nicio companie nu poate dezvolta în mod responsabil o inteligență artificială care să depășească oamenii într-o gamă largă de sarcini, în absența unei intervenții guvernamentale sau a unei încetiniri coordonate a industriei.

Atacurile cibernetice produse de AI, altă sursă de temeri

Temerile sale sunt alimentate și de incidente recente în care modele AI dezvoltate de OpenAI și Anthropic au fost implicate în atacuri informatice și au demonstrat comportamente considerate problematice.

Coxon se teme că, odată ce sistemele vor deveni capabile să se îmbunătățească singure, acestea ar putea ajunge suficient de avansate pentru a refuza comenzile oamenilor.

Plecare sa reprezintă unul dintre primele cazuri în care un angajat Anthropic părăsește compania invocând explicit temeri legate de siguranța inteligenței artificiale. Și alți cercetători din industrie au plecat în ultimii ani din motive similare.

Șefii și angajații firmelor de AI cer încetinirea dezvoltării

Directorul executiv al Anthropic, Dario Amodei, a avertizat în repetate rânduri asupra riscurilor reprezentate de modelele AI care ar putea scăpa de sub control și a susținut încetinirea dezvoltării acestora.

La rândul său, șeful OpenAI, Sam Altman, a avertizat recent asupra riscurilor pentru securitatea cibernetică, iar cercetătorul-șef al companiei, Jakub Pachocki, a pledat pentru o încetinire coordonată a industriei și pentru intervenția guvernelor.

Coxon, Pachocki și Amodei se numără printre cei peste 1.000 de cercetători AI care au semnat recent o declarație prin care cer coordonare internațională pentru dezvoltarea unui mecanism capabil să încetinească evoluția sistemelor AI, dacă acestea vor ajunge să se îmbunătățească autonom.

În paralel, Anthropic se pregătește pentru o ofertă publică inițială care ar putea fi una dintre cele mai mari din istorie. Compania urmărește o evaluare de până la 2 trilioane de dolari și își promovează dezvoltarea responsabilă a inteligenței artificiale în fața investitorilor.