ChatGPT. Sursa: LinkedIn
Din cuprinsul articolului
Cercetările publicate în revista iScience au testat ChatGPT și modelele sale lingvistice de mari dimensiuni pentru diagnosticarea bolilor. Ahmed Abdeen Hamed, cercetător la Universitatea Binghamton, a condus studiul, la care au participat colaboratori de la Universitatea AGH din Cracovia, Universitatea Howard și Universitatea din Vermont. Hamed a dezvoltat un algoritm de învățare automată numit xFakeSci, care poate detecta până la 94% din articolele științifice false. Cercetătorii au urmărit să verifice capacitățile generative biomedicale ale modelelor lingvistice de mari dimensiuni.
Studiul a testat ChatGPT pentru termeni medicali și trei tipuri de asocieri: denumiri de medicamente, genetică și simptome. IA a demonstrat o precizie ridicată în identificarea termenilor medicali (88-97%), a denumirilor de medicamente (90-91%) și a informațiilor genetice (88-98%). Cu toate acestea, identificarea simptomelor a obținut un scor mai mic (49-61%). Acest lucru se poate datora modului în care sunt antrenate modelele lingvistice de mari dimensiuni.
Cât de corect poate să pună ChatGPT un diagnostic
Medicii și cercetătorii utilizează ontologii biomedicale pentru a defini și organiza termeni și relații pentru o reprezentare consistentă a datelor și partajarea cunoștințelor, dar utilizatorii introduc descrieri mai informale. ChatGPT utilizează un limbaj prietenos și social pentru a comunica cu oamenii obișnuiți, în timp ce literatura medicală utilizează nume proprii.
Parkinson. Sursa Foto: Arhiva EVZ
Un rezultat surprinzător a fost faptul că Institutul Național de Sănătate menține o bază de date numită GenBank, care atribuie un număr de acces fiecărei secvențe de ADN identificate. Când i s-au cerut aceste numere în cadrul testării informațiilor genetice, ChatGPT le-a inventat, un fenomen cunoscut sub numele de „halucinație”. Hamed consideră că acesta este un eșec major în contextul multor alte rezultate pozitive. El crede că există posibilitatea de a introduce ontologii biomedicale în modelele lingvistice de mari dimensiuni (LLM) pentru a oferi o precizie mai mare și a elimina halucinațiile.
Interesul lui Hamed pentru LLM a început în 2023, când a descoperit ChatGPT și a auzit despre problemele legate de verificarea faptelor. Scopul său este de a expune defectele, astfel încât oamenii de știință care se ocupă de date să poată ajusta modelele după cum este necesar și să le îmbunătățească.
sursa: medicalxpress.com
