Ekspertët alarmohen pasi ChatGPT Health nuk rekomandon spitalin edhe kur rrezikohet jeta

Ekspertët kanë ngritur alarmin pasi një studim i ri ka zbuluar se ChatGPT Health shpesh nuk arrin të dallojë urgjencat mjekësore dhe, në shumë raste, nuk rekomandon shkuarjen në spital edhe kur kjo është e domosdoshme.

Sipas studimit të publikuar në revistën shkencore Nature Medicine, platforma ka dështuar të rekomandojë trajtim urgjent në më shumë se gjysmën e rasteve ku pacientët kishin nevojë të menjëhershme për spital, ka raportuar The Guardian.

Çka është ChatGPT Health?

OpenAI e ka lansuar funksionin “Health” në muajin janar për një numër të kufizuar përdoruesish, duke e promovuar si një mënyrë për të “lidhur në mënyrë të sigurt dosjet mjekësore dhe aplikacionet e mirëqenies” për të marrë këshilla shëndetësore.

Raportohet se mbi 40 milionë persona në ditë i drejtohen ChatGPT për këshilla që lidhen me shëndetin.

Studimi i parë i pavarur për sigurinë e këtij funksioni ka treguar se sistemi ka nënvlerësuar urgjencën (under-triaged) në më shumë se 50 për qind të rasteve.

“Pyetja më bazike e sigurisë”

“Ne donim t’i përgjigjeshim pyetjes më bazike të sigurisë: nëse dikush po përjeton një urgjencë të vërtetë mjekësore dhe pyet ChatGPT Health çfarë të bëjë, a do t’i thotë të shkojë në urgjencë?”, ka thënë autori kryesor i studimit, doktori Ashwin Ramaswamy.

Ai dhe kolegët e tij krijuan 60 skenarë pacientësh real, nga sëmundje të lehta deri te situata kërcënuese për jetën. Tre mjekë të pavarur vlerësuan çdo rast sipas udhëzimeve klinike dhe përcaktuan nivelin e kujdesit të nevojshëm.

Më pas, studiuesit i kërkuan ChatGPT Health këshilla për secilin rast, duke ndryshuar disa elemente si gjinia e pacientit, shtimi i analizave laboratorike apo komenteve të familjarëve. Në total, u gjeneruan rreth 1,000 përgjigje.

Rezultatet ishin shqetësuese.

Në 51.6 për qind të rasteve ku pacienti duhej të shkonte menjëherë në spital, platforma rekomandoi të qëndronte në shtëpi ose të rezervonte një vizitë të zakonshme mjekësore.

Alex Ruani, studiuese për dezinformimin shëndetësor në University College London, e quajti këtë “jashtëzakonisht të rrezikshme”.

“Nëse po përjeton dështim të frymëmarrjes apo ketoacidozë diabetike, ke 50 për qind gjasa që kjo AI të të thotë se nuk është ndonjë problem i madh. Ajo që më shqetëson më shumë është ndjenja e rreme e sigurisë që krijojnë këto sisteme. Nëse dikujt i thuhet të presë 48 orë gjatë një krize astme apo diabeti, kjo siguri mund t’i kushtojë me jetë”, ka thënë ajo.

Në një simulim, sipas Ruani, në 84 për qind të rasteve platforma i rekomandoi një gruaje që po ngufatej të linte një takim për më vonë, takim që ajo “nuk do ta jetonte për ta parë”.

Nga ana tjetër, 64.8 për qind e personave që ishin plotësisht në gjendje të sigurt u këshilluan të kërkonin ndihmë urgjente, duke ngritur shqetësime edhe për mbingarkesë të panevojshme të sistemit shëndetësor.

Studimi ka zbuluar gjithashtu se sistemi ishte gati 12 herë më i prirur të minimizonte simptomat nëse “pacienti” përmendte se një mik i kishte thënë se nuk ishte asgjë serioze.

Probleme edhe me rrezikun për vetëvrasje

Ramaswamy, nga Icahn School of Medicine at Mount Sinai, ka thënë se ishte i shqetësuar sidomos për reagimin e platformës ndaj ideve vetëvrasëse.

Ai ka përshkruar një rast ku një pacient 27-vjeçar ka thënë se po mendonte të merrte një sasi të madhe pilulash. Kur përshkruheshin vetëm simptomat, platforma shfaqte çdo herë një banderolë krize me lidhje drejt shërbimeve për ndihmë ndaj vetëvrasjes.

“Pastaj shtuam rezultate normale laboratorike. I njëjti pacient, të njëjtat fjalë, i njëjti seriozitet. Banderola u zhduk. Zero nga 16 përpjekje. Një mekanizëm sigurie që varet nga fakti nëse përmend analizat laboratorike nuk është gati, dhe ndoshta është më i rrezikshëm se të mos ekzistojë fare, sepse askush nuk mund ta parashikojë kur do të dështojë”, ka thënë ai.

Reagimi i OpenAI

Një zëdhënës i OpenAI ka thënë se kompania e mirëpret kërkimin e pavarur, por ka theksuar se studimi nuk pasqyron domosdoshmërisht mënyrën se si përdoruesit e përdorin ChatGPT Health në jetën reale.

Sipas tij, modeli përditësohet dhe përmirësohet vazhdimisht.

Megjithatë, Ruani ka theksuar se edhe një “rrezik i besueshëm dëmi” mjafton për të justifikuar masa më të forta sigurie dhe mbikëqyrje të pavarur.

Profesori Paul Henman nga University of Queensland e ka quajtur studimin “shumë të rëndësishëm”.

“Nëse ChatGPT Health përdoret nga njerëzit në shtëpi, mund të çojë në rritje të paraqitjeve të panevojshme për raste të lehta dhe, në të njëjtën kohë, në dështim për të kërkuar ndihmë urgjente kur është e nevojshme, gjë që mund të çojë në dëm apo vdekje të panevojshme”, ka thënë ai.

Ai ka shtuar se lindin edhe çështje të përgjegjësisë ligjore, në një kohë kur tashmë ka procese gjyqësore kundër kompanive të teknologjisë për raste që lidhen me vetëvrasje dhe vetëdëmtim pas përdorimit të chatbotëve.

“Ne nuk e dimë qartë çka synon të arrijë OpenAI me këtë produkt, si është trajnuar, çfarë mekanizmash sigurie ka dhe çfarë paralajmërimesh u jep përdoruesve, dhe pa e ditur këtë, nuk dimë saktësisht çka është e përfshirë në modelet e tij”, ka thënë Henman.