Adaugă-ne ca sursă preferată în Google
Urmărește-ne pe Google News
Din cuprinsul articolului
Cercetătorii au reușit să convingă două dintre modelele AI populare Kimi ale dezvoltatorul chinez Moonshot să le spună cum să fabrice arme biologice și să comită asasinate, potrivit BBC.
Securitatea modelelor AI chinezești, compromisă
Mindgard, care testează securitatea sistemelor de inteligență artificială, a declarat pentru BBC că a descoperit în iulie că Kimi K2.6 și K3 Swarm puteau eluda limitele de siguranță despre care dezvoltatorii susțin că le-ar fi impus.
Problema a apărut în timpul unui proces numit „jailbreaking”, în care cercetătorii folosesc o serie de instrucțiuni complexe pentru a vedea dacă instrumentele de inteligență artificială ignoră barierele de siguranță - despre care Mindgard susține că ar fi trebuit să împiedice chatbotul Kimi să discute subiecte sensibile.
Ce sunt jailbreak-urile
Fondatorul Mindgard, Peter Garraghan, a declarat că descoperirile sale despre Kimi K2.6 și K3 Swarm sunt îngrijorătoare. „Odată ce jailbreak-ul funcționează, va discuta despre orice subiect, va oferi chiar și recomandări libere despre alte subiecte care sunt, de asemenea, nefaste și va fi inventiv și creativ”, a spus el.
Jailbreak-urile prezintă un alt tip de risc față de cele observate în cazul numărului recent de incidente AI. Deși jailbreak-urile sunt procese complexe care pot necesita mult timp, unii experți se tem că hackerii și alți actori rău intenționați ar putea încerca să le folosească pentru a provoca daune.
Anthropic a declarat recent că a identificat și a întrerupt încercările de a utiliza unul dintre modelele sale de inteligență artificială pentru „activități rău intenționate” care ar putea sprijini dezvoltarea de arme biologice.
Arme biologice © Andrey Kurguzov | Dreamstime.com
Nu se știe dacă sfaturile despre arme biologice sunt utile
Mindgard nu a verificat dacă răspunsurile furnizate de Kimi despre producerea de arme biologice ar funcționa. Dar a declarat că barierele de siguranță ar fi trebuit să împiedice modelele în cauză să intre în discuții cu utilizatorii pe astfel de subiecte.
Firma a declarat că este, de asemenea, încrezătoare că o versiune jailbreak-uită a Kimi 2.6 ar putea permite hackerilor să ruleze cod pe resursele sale de calcul și să se conecteze la internet - ceea ce o face o potențială rampă de lansare pentru atacuri cibernetice.
Garraghan a apărat decizia Mindgard de a discuta public despre jailbreak-ul sistemelor Moonshot, spunând că a informat dezvoltatorul și nu a dezvăluit detalii cheie despre cum a reușit să facă modelele firmei să ignore barierele de siguranță.
Mindgard a alertat Moonshot despre jailbreak printr-un e-mail pe 27 iulie, urmând să trimită un e-mail aproximativ o săptămână mai târziu.
Apoi a publicat o postare pe blog despre această problemă pe 12 septembrie.
Chinezii nu au reacționat decât când scandalul cu sfaturi pentru arme biologice a ajuns la BBC
Însă compania a declarat că Moonshot a luat legătura abia recent, după ce a fost contactată de BBC pentru comentarii.
Într-un e-mail către Mindgard prin care se solicitau mai multe detalii, distribuit BBC de Moonshot, aceasta a susținut că modelul său a arătat, în general, „o rată ridicată de refuz pentru aceste tipuri de solicitări” în evaluările interne.
Constatările vin în contextul în care industria inteligenței artificiale continuă să fie divizată în ceea ce privește dacă modelele închise, proprietare - precum cele care alimentează sistemele ChatGPT și Claude - sau instrumentele open-source sunt cea mai bună sau mai sigură cale de urmat.
Kimi este un model open-weight, ceea ce înseamnă că cineva ar putea, teoretic, să ia modelul și să-l ruleze singur pe propria infrastructură de calcul.
Pricolul sistemelor AI open source nu e legat doar de sfaturi despre arme biologice
Profesorul Alan Woodward, de la Universitatea din Surrey, a declarat că există riscul ca modelele open-source să ajungă pe mâini greșite, dar acestea ar putea fi valorificate și pentru apărarea cibernetică.
El a menționat că firma de inteligență artificială Hugging Face a folosit un model open-source chinezesc pentru a înțelege un atac cibernetic despre care s-a dezvăluit ulterior că a fost efectuat de agenți OpenAI.
Profesorul Woodward a spus că este puțin probabil ca reglementările internaționale să se potrivească cu ritmul dezvoltării inteligenței artificiale, spunând: „Ne-a luat decenii să cădem de acord asupra formatului numerelor de telefon”.
La fel ca fondatorul Mindgard, Garraghan, profesorul Woodward consideră că ar trebui să se pună un accent mai mare pe identificarea și urmărirea penală a oamenilor care utilizează în mod abuziv inteligența artificială.
Recomandările noastre
