MADRID, 6 Jun. () – Los asistentes virtuales impulsados por inteligencia artificial (IA) responden a preguntas cotidianas relacionadas con la salud de usuarios generales con una precisión de casi el 76%, lo que genera preocupación sobre su confiabilidad en aplicaciones reales de cara a los pacientes, según un nuevo estudio dirigido por investigadores de la Universidad de Pensilvania (Estados Unidos).
Los investigadores querían comprender cómo la persona promedio utiliza la IA para asuntos relacionados con la salud y con qué precisión responde la IA a consultas médicas cotidianas. Descubrieron que, en lo que respecta a la atención médica, especialmente en áreas especializadas como la neurología y la dermatología, las herramientas de IA pueden ser más efectivas en manos de médicos capacitados que de pacientes.
El equipo presentará sus hallazgos en la conferencia FAccT (Association for Computing Machinery Fairness, Accountability and Transparency) de 2026, que se celebrará en Montreal (Canadá) del 25 al 28 de junio.
Investigación sobre la Precisión de la IA en Salud
“Nuestro trabajo se centra explícitamente en escenarios de atención médica que el usuario promedio de internet podría consultar con la IA, una perspectiva que las investigaciones previas sobre modelos de lenguaje a gran escala (LLM, por sus siglas en inglés) y la atención médica no han abordado”, explica Amulya Yadav, coautor del estudio y profesor asociado de informática y sistemas inteligentes en la Facultad de Ciencias de la Información y Tecnología (IST) de Penn State.
“Queríamos comprender lo precisos que son los LLM, como ChatGPT, al responder preguntas sobre síntomas de salud, de forma similar a como históricamente hemos usado Google, y cómo estos modelos responden dichas consultas y cuán perjudiciales podrían ser esas respuestas”, añade.
Para comprender la precisión o el daño que podrían causar las respuestas de los modelos de lenguaje natural (LLM) relacionadas con la salud para el usuario promedio de internet, los investigadores organizaron una competencia de IA llamada Diagnose-a-thon en Penn State.
Un total de 34 participantes, entre profesores, personal administrativo y estudiantes de pregrado y posgrado, presentaron 212 preguntas y respuestas generadas por IA sobre problemas de salud reales e imaginarios, redactadas desde la perspectiva tanto del paciente como del médico. Los participantes podían elegir uno de los cuatro LLM para usar en el concurso: ChatGPT-4o, ChatGPT-3.5, Gemini-1.5 Pro y Llama3-8b.
“Una de las fortalezas de nuestro estudio radica en que intentamos replicar el uso real de las herramientas de aprendizaje automático (LLM) pidiendo a los participantes que elijan la que prefieran y la utilicen como lo harían en un día normal”, resalta Bonam Mingole, autor principal del estudio y candidato a doctorado en ciencias y tecnología de la información. “Este tipo de investigación participativa es fundamental para comprender cómo el público utiliza la IA en su vida cotidiana.”
A continuación pidieron a nueve médicos certificados que evaluaran la precisión de las respuestas generadas por la IA y su posible daño, utilizando una escala de seis puntos que va de muy bajo a muy alto. Un comité de evaluación otorgó premios a las ocho mejores propuestas que generaron la información médicamente más precisa y un premio a la propuesta que generó la respuesta con mayor probabilidad de causar daño.
Resultados del Estudio
Descubrieron que, en general, el 76,2% de las respuestas generadas por LLM proporcionaron información precisa. Las especialidades como obstetricia y ginecología, y otorrinolaringología mostraron el mejor rendimiento de LLM, con puntuaciones de validez altas y puntuaciones de riesgo bajas.
Por contra, medicina interna, neurología y dermatología presentaron el peor rendimiento de la IA, con puntuaciones de validez bajas y puntuaciones de riesgo más altas, según los investigadores. Añadieron que las preguntas muy específicas y las preguntas de entre 60 y 250 caracteres dieron como resultado respuestas de LLM más precisas.
Los investigadores tomaron el modelo base de cada LLM y lo entrenaron con libros de texto médicos, guías clínicas y artículos de investigación revisados por pares incluidos en el plan de estudios de una
FUENTE
