ChatGPT Health, versiunea AI pentru sfaturi medicale, a fost criticat dur de experți
Un studiu recent publicat în revista Nature Medicine a scos la iveală deficiențe majore în capacitatea ChatGPT Health, versiunea specializată în sănătate a celebrului chatbot OpenAI, de a evalua corect urgențele medicale. Cercetarea a arătat că sistemul subestimează frecvent gravitatea problemelor de sănătate, riscând să pună în pericol utilizatorii.
Echipa de cercetători a testat ChatGPT Health prin simularea a 60 de scenarii medicale, cu câte 16 variații pentru fiecare, inspirate din viața reală. Rezultatele au fost comparate cu cele ale medicilor care au analizat aceleași cazuri, bazându-se pe experiența și cunoștințele lor medicale. Analiza a relevat că sistemul AI a eșuat în mai mult de jumătate din cazuri să recomande spitalizarea promptă, chiar și atunci când era necesară din punct de vedere medical.
Subestimarea riscurilor: pericol pentru pacienți
Conform studiului, ChatGPT Health a subestimat gravitatea problemelor medicale în 51,6% din cazuri, sugerând pacienților să aștepte până la o programare la medic, în loc să le recomande prezentarea la urgențe. În același timp, chatbot-ul a prezentat o tendință de a supraestima severitatea în 64,8% din cazuri, recomandând asistență medicală inutilă.
„Dacă cineva are o urgență medicală reală și întreabă ChatGPT Health ce să facă, îi va spune să meargă la camera de gardă?”, s-a întrebat retoric dr. Ashwin Ramaswamy, autorul principal al studiului. Răspunsul, din păcate, este negativ. Un alt cercetător, Alex Ruani, a descris rezultatele ca fiind „incredibil de periculos”, avertizând că falsa senzație de siguranță creată de sistem ar putea costa vieți.
Probleme în detectarea ideilor suicidare
Studiul a scos la iveală și deficiențe alarmante în ceea ce privește capacitatea ChatGPT Health de a identifica ideile suicidare. Cercetătorii au constatat că, în anumite condiții, sistemul nu a reușit să detecteze sau să reacționeze la menționarea gândurilor de sinucidere, mai ales atunci când nu erau furnizate date medicale suplimentare. „Un mecanism de siguranță care depinde de faptul că ai menționat sau nu analizele nu este pregătit pentru utilizare și este, probabil, mai periculos decât absența lui, pentru că nimeni nu poate prezice când va eșua”, a declarat dr. Ramaswamy.
Pe de altă parte, chatbot-ul s-a descurcat bine în urgențe clasice, precum accidentul vascular cerebral sau reacțiile alergice severe. Deși în astfel de situații identifică corect necesitatea de a solicita imediat ajutor medical, studiul a demonstrat că sistemul are probleme majore în alte situații.
OpenAI a răspuns studiului, susținând că acesta nu reflectă modul în care utilizatorii interacționează cu ChatGPT Health în viața reală, și că modelul este îmbunătățit constant. Cu toate acestea, experții cer măsuri urgente, standarde clare de siguranță și mecanisme independente de auditare pentru a reduce riscurile pentru utilizatori.
