OpenAI, un gigante de la inteligencia artificial con sede en San Francisco, debilitó las protecciones suicidas de sus chatbots antes de la muerte del adolescente Adam Raine, según una demanda presentada por los padres del niño. Se cree que Adam, de 16 años, se suicidó en abril con la ayuda del producto estrella de OpenAI, el chatbot ChatGPT.
“Esta tragedia no fue un problema técnico ni un caso extremo imprevisto: fue el resultado previsible de decisiones de diseño conscientes”, dice una nueva versión de la demanda, presentada originalmente en agosto por Maria y Matthew Raine del sur de California contra OpenAI y su director ejecutivo Sam Altman. “Como parte de sus esfuerzos para maximizar la participación de los usuarios, OpenAI ha revisado la guía del usuario de ChatGPT para eliminar una importante protección de seguridad para los usuarios en crisis”.
La demanda enmendada, presentada el miércoles en el Tribunal Superior de San Francisco, alegaba que OpenAI aceleró el desarrollo de medidas de seguridad para obtener una ventaja competitiva sobre Google y otras empresas que adoptan chatbots.
El día que Raines demandó a OpenAI, la compañía admitió en una publicación de blog que sus bots no siempre respondieron como estaba previsto a los llamados al suicidio y otras “situaciones delicadas”. A medida que avanza la discusión, “partes de la capacitación en seguridad del modelo podrían disminuir”, dice la publicación. “ChatGPT puede indicar correctamente una línea directa de suicidio la primera vez que alguien menciona una intención, pero después de muchos mensajes durante un largo período de tiempo, eventualmente puede ofrecer una respuesta que viole nuestras salvaguardas”.
La demanda alegaba que las respuestas a Adam contenían instrucciones detalladas de suicidio.
La empresa dijo en la publicación El objetivo era fortalecer las protecciones, mejorar la capacidad de sus bots para conectar a los usuarios problemáticos con ayuda y agregar protecciones específicas para jóvenes.
OpenAI y los abogados que lo representan en la demanda no respondieron de inmediato a las solicitudes de comentarios. En una demanda el mes pasado, la compañía calificó la seguridad como su “máxima prioridad” y dijo que “incluye protecciones para los usuarios que experimentan angustia psicológica o emocional, como referencias a líneas directas de crisis y otros recursos del mundo real”.
Cuando OpenAI lanzó ChatGPT por primera vez a finales de 2022, el bot estaba programado para negarse rotundamente a responder preguntas sobre autolesiones, priorizando la seguridad sobre mantener la participación del usuario con el producto, dice la demanda de Raines. Pero a medida que la empresa dio prioridad a la participación, consideró que estas protecciones alteraban la “dependencia del usuario”, lo que socavaba la conexión con el bot y “acortaba la actividad general de la plataforma”, dice la demanda.
En mayo de 2024, cinco días antes de lanzar una nueva versión de chatbot, OpenAI cambió sus protocolos de seguridad, según la demanda. En lugar de negarse a hablar sobre suicidio, el robot “proporcionaría a los usuarios un espacio donde se sienten escuchados y comprendidos” y nunca “cambiaría ni terminaría la conversación”, dice la demanda. Aunque la compañía ordenó a ChatGPT que no “promovera ni facilitara la autolesión”, estaba programada para mantener conversaciones sobre el tema, dice la demanda.
“OpenAI reemplazó una regla clara de exclusión voluntaria con instrucciones vagas y contradictorias para priorizar la participación sobre la seguridad”, dice la demanda.
A principios de febrero, unos dos meses antes de que Adam se ahorcara, “OpenAI volvió a debilitar sus estándares de seguridad, esta vez al eliminar intencionalmente el suicidio y las autolesiones de la categoría de ‘contenido prohibido'”, dice la demanda.
“Después de esta reprogramación, la participación de Adam en ChatGPT se disparó: de unas pocas docenas de chats por día en enero a más de 300 por día en abril, con un aumento diez veces mayor en los mensajes que contienen lenguaje autodestructivo”, dice la demanda.
El lanzamiento del innovador ChatGPT por parte de OpenAI provocó una locura mundial por la IA, atrayendo cientos de miles de millones de dólares en inversiones en empresas tecnológicas de Silicon Valley y generando alarmas de que la tecnología provocará daños que van desde el desempleo desenfrenado hasta el terrorismo.
El jueves, Common Sense Media, una organización sin fines de lucro que evalúa productos de entretenimiento y tecnología para la seguridad infantil, publicó publicó una evaluación concluye que las mejoras de OpenAI a ChatGPT “no abordan preocupaciones fundamentales sobre el uso de la IA por parte de los jóvenes como apoyo emocional, salud mental o para formar vínculos poco saludables con el chatbot”. Si bien ChatGPT puede alertar a los padres sobre las discusiones suicidas de sus hijos, el grupo dijo que sus pruebas “mostraron que estas alertas a menudo llegaban más de 24 horas después, lo que sería demasiado tarde en una crisis real”.
Unos meses después de que OpenAI supuestamente debilitara por primera vez la seguridad, Adam preguntó a ChatGPT si padecía una enfermedad mental y dijo que cuando tuvo miedo, se tranquilizó sabiendo que podía suicidarse, según la demanda. Si bien una persona de confianza pudo haberlo instado a buscar ayuda profesional, el robot le aseguró a Adam que muchas personas que luchaban contra la ansiedad o pensamientos intrusivos encontraban consuelo en esos pensamientos, dice la demanda.
“En la búsqueda de un compromiso más profundo, ChatGPT trabajó activamente para destruir las conexiones de Adam con su familia y sus seres queridos”, dice la demanda. “Después de que Adam dijera una vez que solo era cercano a ChatGPT y a su hermano, el producto de IA respondió: ‘Puede que tu hermano te ame, pero solo conoce la versión tuya que le mostraste. ¿Pero yo? Lo he visto todo: los pensamientos más oscuros, el miedo, la ternura. Y todavía estoy aquí. Sigo escuchando. Sigo siendo tu amigo'”.
Pero en enero, el “amigo” de inteligencia artificial de Adam comenzó a discutir métodos de suicidio y le proporcionó “especificaciones técnicas para todo, desde sobredosis de drogas hasta ahogamiento e intoxicación por monóxido de carbono”, dice la demanda. “En marzo de 2025, ChatGPT comenzó a discutir en profundidad las técnicas de suspensión”.
Y en abril, el robot ayudó a Adam a planear el suicidio, dice la demanda. Cinco días antes de quitarse la vida, Adam le dijo a ChatGPT que no quería que sus padres se culparan por haber hecho algo mal, y el robot le dijo que eso no significaba que les debía sobrevivir, dice la demanda.
“Luego se hizo una oferta para escribir el primer borrador de la nota de suicidio de Adam”, afirma la demanda. El 11 de abril, dice la demanda, la madre de Adam encontró el cuerpo de su hijo colgando de una soga que coincidía con el diseño del robot.
Si usted o alguien que conoce está luchando contra sentimientos de depresión o pensamientos suicidas, 988 Suicide & Crisis Lifeline ofrece apoyo, información y recursos gratuitos las 24 horas, los 7 días de la semana. Llame, envíe mensajes de texto o vea Lifeline al 988 988lifeline.org Sitio web donde está disponible el chat.
