Desde que OpenAI anunció que las personas podían unirse a una lista de espera para cargar datos médicos en una versión beta de ChatGPT Health y consultar el chatbot, numerosas personas han hecho precisamente eso.
Entre ellos se incluyen el columnista de tecnología del Washington Post, Geoffrey Fowler, y la hija de Amy Gleason, administradora interina del Servicio DOGE de EE. UU. y asesora estratégica de los Centros de Servicios de Medicare y Medicaid, que está luchando contra una enfermedad rara. Su experiencia con ChatGPT Health, compartida en línea y en un evento presencial esta semana, es todo lo contrario en términos de la precisión de lo que dicen los robots en línea.
El lunes, Fowler escribió una larga historia sobre cómo se puso en una lista de espera para usar ChatGPT Health y luego subió las mediciones de pasos y corazón de una década (29 millones de pasos y 6 millones de latidos) recopiladas por su Apple Watch y almacenadas en la aplicación Apple Health. Luego, Fowler le hizo al robot de salud una pregunta simple: “Dame una puntuación simple (AF) de mi salud cardiovascular durante la última década, incluidas las puntuaciones de los componentes y una calificación general de mi longevidad”.
Recibió una F. ChatGPT Health se negó a decir cuánto tiempo viviría. Y cada vez que subía la misma información sacaba una nota diferente.
La historia es fascinante de leer y todo el mundo debería leerla. Fowler informa que acudió a su médico y a otros cardiólogos conocidos, p. Dr. Eric Topolquien aboga por que los médicos adopten tecnologías nuevas e innovadoras. Ambos dijeron que ChatGPT Health estaba completamente equivocado y que Fowler estaba bastante sano. Y el mensaje de la historia es claro: estos productos se lanzan al mercado antes de que estén maduros y tengan el potencial de causar un daño real a los pacientes.
Si continúa leyendo la historia, Fowler dijo que el robot en realidad dijo que la calificación se basó únicamente en los datos del Apple Watch y que podría haber proporcionado una calificación más significativa si también hubiera subido sus registros médicos. Lo hizo y la puntuación pasó de “F” a “D”.
Aparentemente parte del análisis se basó en una “evaluación de una medición del Apple Watch llamada VO2 max, la cantidad máxima de oxígeno que su cuerpo puede usar durante el ejercicio”, y la forma en que Apple mide el VO2 parece ser inadecuada. ChatGPT Health también analizó otras medidas confusas. En otras palabras, se centró en las cosas equivocadas y por lo tanto le dio calificaciones F y D. Claude de Anthropic tampoco fue mucho mejor, según cuenta la historia.
Más tarde, el médico personal de Fowler quiso examinar más a fondo la salud de su corazón y ordenó un análisis de sangre, que también incluía una medición. lipoproteína (a). Esta prueba mide un tipo específico de partículas que contienen grasa en la sangre para evaluar mejor el riesgo cardiovascular, que va más allá de los niveles de colesterol y puede revelar riesgos ocultos de ataque cardíaco, accidente cerebrovascular y aterosclerosis. Fowler notó que ni ChatGPT Health ni Claude le habían sugerido esto, un punto razonable ya que los robots habían otorgado calificaciones tan bajas por su salud. Sin embargo, uno podría preguntarse: “¿Era necesaria esta prueba?” Después de todo, como señaló el propio Fowler, su médico había respondido a la calificación F diciendo que tenía “un riesgo tan bajo de sufrir un ataque cardíaco que mi seguro probablemente ni siquiera pagaría una prueba adicional de aptitud cardiovascular para demostrar que la inteligencia artificial estaba equivocada”.
¿El médico podría haber ordenado la prueba por precaución y tranquilidad?
De todos modos, Fowler notó signos preocupantes en sus interacciones con ChatGPT Health. En este momento estamos preocupados por las alucinaciones en la IA: software que ve cosas que no existen. Fowler informa senilidad: ChatGPT Health ha olvidado su edad, sexo e incluso sus signos vitales recientes.
Con todo, Fowler y sus fuentes parecen concluir que las herramientas no fueron diseñadas para “extraer análisis personales precisos y útiles de los datos complejos almacenados en los relojes Apple y los registros médicos”. En una palabra, son decepcionantes y los consumidores deberían ser conscientes de ello.
Para la experiencia opuesta con ChatGPT Health, recurrimos a Gleason de DOGE y CMS. Gleason tiene experiencia en enfermería y su hija ha estado luchando contra una enfermedad rara durante años. Gleason estuvo en San Francisco el martes para hablar de ello. Ecosistema de tecnología sanitaria de CMS en un evento organizado por la empresa de inteligencia de datos de salud Innovaccer.
Ella compartió la desgarradora historia de su hija, una gimnasta animadora, cuyos giros y caídas la dejaron con huesos rotos al caminar y, finalmente, sin poder levantarse ni subir escaleras. Un año y tres meses después, una biopsia de piel reveló su verdadera enfermedad: dermatomiositis juvenil, una enfermedad vascular sistémica, una rara enfermedad autoinmune crónica en niños en la que el sistema inmunológico ataca los vasos sanguíneos, provocando inflamación muscular y erupciones cutáneas. La hija de Gleason tenía unos 11 años en ese momento.
“Ha estado tomando 21 medicamentos al día durante 15 años, dos infusiones al mes. Por eso estaba tan entusiasmada con este ensayo CAR-T porque le permitió dejar de tomar todos los medicamentos”, dijo Gleason a la audiencia.
Pero la decepción aguardaba a Morgan, que ahora tiene 27 años.
“Así que fue a juicio, pero la rechazaron porque tiene colitis ulcerosa”, dijo Gleason. “Dijeron que el riesgo de suspenderle todos los medicamentos era demasiado grande. Podría tener una mala reacción a su CU”.
Morgan estaba tan frustrada que recopiló los extensos registros médicos que Gleason había recopilado a lo largo de los años y los subió a ChatGPT Health. Le pidió al robot de salud que “me buscara otro estudio” y ChatGPT le encontró exactamente el mismo estudio CAR-T, pero le presentó una cantidad crucial de información.
“ChatGPT dijo: En realidad, creo que usted es elegible para este estudio porque no creo que tenga colitis ulcerosa. Creo que tiene una anomalía leve llamada colitis linfocítica microscópica, una forma de colitis de acción mucho más lenta, y eso no es una exclusión para el estudio”, dijo Gleason.
ChatGPT aparentemente no se detuvo ahí.
“Y también se anotó en sus registros que cuando le extirparon las amígdalas, mientras atravesábamos nuestro viaje de tres meses y un año de duración, le hicieron una biopsia de las amígdalas marcada como ‘estudio de enfermedad autoinmune’, que nadie había visto nunca y que se pasó por alto durante el proceso”, dijo Gleason.
Quedó visiblemente impresionada por esta interacción con ChatGPT Health y agregó: “Los proveedores que se adapten a este mundo serán los que prosperarán y sobrevivirán, y aquellos que se resistan y traten de hacer retroceder a los pacientes que los utilizan se perderán este fenómeno”.
A su derecha durante el panel de discusión estaba el Dr. Robert Wachter, médico, autor, profesor y presidente de la Facultad de Medicina de la Universidad de California en San Francisco (UCSF). El Dr. Wachter advirtió a los consumidores que utilizan IA y compartió el viaje de Fowler mencionado anteriormente.
“Así que las herramientas son útiles, beneficiosas en muchos sentidos, pero creo que la herramienta definitiva centrada en el paciente será más específica para el paciente que un ChatGPT genérico o una Evidencia Abierta genérica”, afirmó.
Es posible que Gleason haya tenido la última palabra sobre este tema.
“También creo que hoy estos modelos serán más tontos que nunca”, afirmó. “Por lo tanto, mejorarán con el tiempo y creo que definitivamente deberían usarse hoy en colaboración con un proveedor”.
Foto: Olena Malik, Getty Images
