Mentre sempre più persone si rivolgono ai chatbot basati sull’intelligenza artificiale per ottenere consigli medici rapidi e disponibili 24 ore su 24, 7 giorni su 7, un nuovo documento di riflessione, scritto in collaborazione con docenti della Binghamton University, State University of New York, esplora i rischi che questa pratica comporta, rischi che sono in gran parte invisibili agli utenti e ai sistemi sanitari.
Lo studio, scritto da ricercatori della Binghamton University, della Stanford University, della Texas A&M University e dell’Indiana University e pubblicato su Nature Health , esamina cosa accade quando un chatbot fornisce a qualcuno consigli sanitari errati. Gli autori sostengono che il danno è difficile da individuare perché la conversazione rimane sulla piattaforma dell’azienda che sviluppa l’intelligenza artificiale, la persona non ha modo di segnalare il problema e i ricercatori esterni non possono quantificare l’entità del danno.
“Riceviamo consigli medici da questi chatbot, ma nessuno, letteralmente nessuno, li controlla. Se c’è un errore o un problema, non c’è modo per le persone di saperlo”, ha affermato Kaicheng Yang , professore assistente presso la School of Computing del Thomas J. Watson College of Engineering and Applied Science della Binghamton University e uno degli autori dell’articolo.
I ricercatori hanno citato l’esempio di un uomo di 60 anni che ha chiesto a ChatGPT come ridurre il cloruro nella sua dieta e ha sostituito il sale da tavola con il bromuro di sodio. L’uomo è stato poi ricoverato in ospedale per intossicazione da bromuro dopo aver manifestato allucinazioni e paranoia. Il problema evidenziato da questo studio è che, poiché l’uomo ha ricevuto questo consiglio da un chatbot e non è stato in grado di recuperare la conversazione, i suoi medici non hanno avuto modo di sapere esattamente cosa gli fosse stato detto, rendendo quasi impossibile ricostruire con precisione l’accaduto.
Poiché non esiste un sistema di trasparenza per le aziende che operano nel settore dell’IA in relazione alla visibilità dei consigli sanitari che forniscono ai pazienti, questo articolo sostiene che tale mancanza di trasparenza, intrinseca e sistemica, rappresenta un aspetto fondamentale delle informazioni sanitarie generate dall’IA, in quanto impedisce attivamente la supervisione. “I danni non solo sono possibili, ma sono strutturalmente nascosti ai medici, ai ricercatori e agli enti regolatori che altrimenti potrebbero individuarli e correggerli”, osservano gli autori.
Questo articolo sottolinea anche un aspetto fondamentale dei chatbot che generano risposte a domande sulla salute: possono essere errati. I chatbot possono fornire risposte inesatte con sicurezza, semplificare eccessivamente le informazioni o basarsi su dati obsoleti o affermazioni false. Tuttavia, gli autori osservano anche che questi rischi possono estendersi anche a coloro che non cercano attivamente risposte. Con la diffusione dei riassunti basati sull'IA nei motori di ricerca e l'integrazione dell'IA nelle piattaforme di social media come X e Meta, non è necessario cercare attivamente una risposta per ricevere informazioni errate.
"A volte non cerco nemmeno informazioni sulla salute, ma semplicemente scorrendo i miei feed sui social media, le trovo lì. Compaiono all'improvviso e crediamo che questo possa avere conseguenze indesiderabili, soprattutto se si tratta di disinformazione medica o se attori statali cercano di manipolare la discussione online", ha affermato Yang.
Indipendentemente dal fatto che una persona cerchi attivamente risposte o le trovi per caso, gli autori di questo articolo sostengono che il danno raramente lascia tracce verificabili da medici, autorità di regolamentazione o ricercatori.
Per contrastare questo fenomeno, gli autori propongono diversi metodi per aumentare la trasparenza e la responsabilità delle aziende che si occupano di intelligenza artificiale. Sottolineano che tali aziende dovrebbero consentire agli utenti di accedere alle proprie conversazioni mediche, offrendo loro l'opportunità di condividere queste informazioni con i medici, in modo che questi possano indagare meglio sul percorso che ha portato a un evento dannoso. Raccomandano inoltre che queste aziende sviluppino un sistema di divulgazione che permetta di segnalare, denunciare e indagare su eventuali problematiche relative alle indicazioni sanitarie fornite.
Raccomandano inoltre che le aziende dei social media si assumano maggiori responsabilità migliorando l'etichettatura chiara dei contenuti sanitari generati dall'IA, bloccando la pubblicazione di tali contenuti fino a quando non siano stati vagliati dagli organi di controllo medico e, analogamente, che i motori di ricerca utilizzino nei riassunti solo informazioni verificate. Gli autori suggeriscono inoltre che i legislatori dovrebbero estendere la responsabilità per negligenza medica anche alle aziende che sviluppano chatbot basati sull'IA.
"Non riteniamo che dovremmo affidarci alle aziende per questo compito, perché il loro obiettivo è sempre quello di guadagnare di più", ha affermato Yang. "Costruire un sistema del genere va contro questo obiettivo. Quindi abbiamo bisogno di un sistema di monitoraggio da parte di terzi, una valutazione indipendente."
Nature Health: "The Invisible Risks of AI-Generated Health Information". DOI: 10.1038/s44360-026-00206-x
