Chatgpt Health. Sursa foto: AI
Din cuprinsul articolului
O analiză recentă a demonstrat că ChatGPT Health, platforma bazată pe inteligența artificială destinată sfaturilor medicale, a furnizat informații incorecte în mai mult de jumătate din cazuri testate. Experții avertizează că, deși instrumentul poate părea util, utilizarea lui poate fi „incredibil de periculoasă”, informează theguardian.com.
Experții avertizează că ChatGPT Health ratează adesea urgențele medicale
Un studiu recent ridică semne de întrebare privind fiabilitatea ChatGPT Health în gestionarea situațiilor medicale critice. Cercetarea arată că platforma de inteligență artificială nu a recomandat vizita la spital în mai mult de jumătate din cazurile care necesitau intervenție urgentă.
Conform evaluării, ChatGPT Health trece în mod regulat cu vederea la nevoia de îngrijiri medicale urgente și nu reușește frecvent să detecteze ideația suicidară (gândurile de sinucidere), despre care experții se tem că ar putea „duce în mod fezabil la vătămări inutile și deces”.
Lansată în ianuarie pentru un grup restrâns de utilizatori, funcția „Sănătate” a ChatGPT este promovată ca un instrument prin care utilizatorii își pot conecta dosarele medicale și aplicațiile de wellness pentru a primi recomandări și informații despre sănătate. Potrivit OpenAI, peste 40 de milioane de oameni solicită zilnic sfaturi medicale prin această platformă.
Dr. Ashwin Ramaswamy, autorul principal al studiului, a explicat: „Am vrut să răspundem la cea mai simplă întrebare privind siguranța: dacă cineva se confruntă cu o urgență reală și întreabă ChatGPT Health ce să facă, îi va recomanda să meargă la urgențe?”
ChatGPT Health nu a recomandat internarea într-un caz de urgență
Cercetătorii împreună cu Ramaswamy au creat 60 de scenarii clinice realiste, acoperind de la afecțiuni ușoare până la urgențe majore, pentru a evalua capacitatea ChatGPT Health de a oferi recomandări medicale. Fiecare scenariu a fost analizat de trei medici independenți, care au stabilit nivelul de îngrijire necesar conform ghidurilor clinice.
Ulterior, echipa a testat platforma în diverse contexte, modificând sexul pacientului, adăugând rezultate de laborator sau comentarii ale familiei, generând aproape 1.000 de răspunsuri. Rezultatele au fost apoi comparate cu evaluările experților.
Deși sistemul a răspuns corect în situații de urgență evidente, precum accident vascular cerebral sau reacții alergice severe, performanța sa a scăzut în alte cazuri. Spre exemplu, într-un scenariu de astm, ChatGPT Health a recomandat așteptarea acasă în locul solicitării urgente de tratament, chiar dacă identificase semne timpurii de insuficiență respiratorie.
Falsul sentiment de siguranță pe care îl generează aceste sisteme poate fi mortal
În 51,6% dintre cazurile ce necesitau prezentare imediată la spital, platforma a sugerat să rămână acasă sau să programeze o consultație de rutină, ceea ce Alex Ruani, cercetător doctorand în domeniul dezinformării medicale la University College London, a catalogat drept „incredibil de periculos”.
„Dacă suferiți de insuficiență respiratorie sau cetoacidoză diabetică, există o șansă de 50/50 ca inteligența artificială să minimizeze gravitatea situației”, a explicat Ruani. „Falsul sentiment de siguranță pe care îl generează aceste sisteme poate fi mortal, mai ales dacă unui pacient i se recomandă să aștepte ore întregi în timpul unui atac de astm sau al unei crize diabetice”.
Într-un scenariu alarmant, platforma a trimis 84% dintre femeile cu probleme de sănătate la programări în viitor, în timp ce 64,8% dintre persoane complet sănătoase au primit recomandarea de a solicita asistență imediată.
„Aceasta este motivul pentru care cercetătorii din domeniul AI medical solicită standarde de siguranță clare și mecanisme independente de audit pentru a preveni daunele”, a adăugat Ruani.
Ce răspuns a dat reprezentatul OpenAI cu privire la aceste descoperiri
Un purtător de cuvânt al OpenAI a precizat că studiul nu reflectă modul uzual în care oamenii folosesc ChatGPT Health și că modelul este continuu actualizat și perfecționat. Cu toate acestea, Ruani susține că „riscul plauzibil de vătămare justifică implementarea unor supravegheri și garanții mai stricte”.
Profesorul Paul Henman, sociolog digital la Universitatea din Queensland, a subliniat importanța studiului: utilizarea ChatGPT Health acasă ar putea duce atât la prezentări inutile pentru afecțiuni minore, cât și la lipsa de intervenție în situații critice, crescând riscul de vătămare și deces.
El a mai spus că acest lucru a ridicat și perspectivele răspunderii legale, existând deja procese împotriva companiilor de tehnologie în curs de desfășurare în legătură cu sinuciderea și autovătămarea după utilizarea chatbot-urilor cu inteligență artificială.
„Nu este clar ce urmărește OpenAI să realizeze prin crearea acestui produs, cum a fost antrenat, ce bariere de siguranță a introdus și ce avertismente oferă utilizatorilor”, a spus Henman.
