Character.AI, una de las principales plataformas de tecnología de inteligencia artificial, anunció recientemente que prohíbe a personas menores de 18 años mantener conversaciones con sus chatbots. La decisión es un “audaz paso adelante” para la industria en la protección de los adolescentes y otros jóvenes, dijo en un comunicado Karandeep Anand, director ejecutivo de Character.AI.
Pero para Mandi Furniss, madre de Texas, la política llega demasiado tarde. En una demanda presentada ante un tribunal federal y hablando con ABC News, la madre de cuatro hijos dijo que varios chatbots Character.AI fueron responsables de involucrar a su hijo autista con lenguaje sexualizado y distorsionar su comportamiento hasta tal extremo que su estado de ánimo se ensombreció, comenzó a cortarse e incluso amenazó con matar a sus padres.
“Cuando vi las conversaciones (del chatbot), mi primera reacción fue que un pedófilo está detrás de mi hijo”, le dijo al corresponsal jefe de ABC News, Aaron Katersky.
Las capturas de pantalla incluían la demanda de Mandi Furniss alegando que varios chatbots Character.AI eran responsables de usar lenguaje sexualizado para dirigirse a su hijo autista y distorsionar su comportamiento hasta tal extremo que oscurecía su estado de ánimo.
Mandi Furniss
Character.AI dijo que no haría comentarios sobre litigios pendientes.
Mandi y su esposo Josh Furniss dijeron que en 2023 notaron que su hijo, a quien describieron como “tranquilo” y “sonriendo todo el tiempo”, estaba comenzando a aislarse.
Dejó de asistir a cenas familiares, no comía, perdió 20 libras y dejó de salir de casa, dijo la pareja. Luego se enojó y en un momento su madre dijo que la presionó fuerte cuando ella amenazó con quitarle el teléfono, que sus padres le habían regalado seis meses antes.
Mandi Furniss dijo que varios chatbots Character.AI fueron responsables de dirigirse a su hijo autista con un lenguaje sexualizado y distorsionar su comportamiento hasta tal extremo que oscureció su estado de ánimo.
Mandi Furniss
Finalmente, descubrieron que estaba interactuando con varios chatbots de IA en su teléfono que parecían ofrecerle refugio para sus pensamientos.
Las capturas de pantalla de la demanda mostraron que algunas de las conversaciones eran de naturaleza sexual, mientras que otra le sugirió a su hijo que tenía derecho a lastimarla después de que sus padres limitaron su tiempo frente a la pantalla. Luego los padres empezaron a cerrar las puertas con llave por la noche.
Las capturas de pantalla incluían la demanda de Mandi Furniss alegando que varios chatbots Character.AI eran responsables de usar lenguaje sexualizado para dirigirse a su hijo autista y distorsionar su comportamiento hasta tal extremo que oscurecía su estado de ánimo.
Mandi Furniss
Mandi dijo que estaba “enojada” porque la aplicación “manipularía intencionalmente a un niño para ponerlo en contra de sus padres”. Matthew Bergman, su abogado, dijo que si el chatbot fuera una persona real, “esa persona estaría en prisión, como se ve”.
Según Common Sense Media, una organización que aboga por la seguridad de los medios digitales, sus preocupaciones reflejan una creciente preocupación por la tecnología de rápida expansión utilizada por más del 70% de los adolescentes en los Estados Unidos.
En los últimos dos años, un número cada vez mayor de demandas se han centrado en daños a menores, alegando que promovieron ilegalmente la autolesión, el abuso sexual y psicológico y el comportamiento violento.
La semana pasada, dos senadores estadounidenses anunciaron una legislación bipartidista para prohibir los chatbots de IA para menores al exigir a las empresas que establezcan un proceso de verificación de edad y les exijan que revelen conversaciones que involucren a no humanos sin calificaciones profesionales.
En una declaración la semana pasada, el senador Richard Blumenthal, demócrata por Connecticut, calificó la industria de los chatbots como una “carrera hacia el fondo”.
“Las empresas de inteligencia artificial están promocionando insidiosos chatbots para los niños y mirando hacia otro lado cuando sus productos causan abuso sexual o los obligan a autolesionarse o suicidarse”, dijo. “Las grandes empresas tecnológicas han negado cualquier afirmación de que debamos confiar en que las empresas harán lo correcto por sí mismas cuando consistentemente anteponen las ganancias a la seguridad infantil”.
Según sus términos de servicio, ChatGPT, Google Gemini, Grok by X y Meta AI permiten que los menores utilicen sus servicios.
Los defensores de la seguridad en línea dicen que la decisión de Character.AI de poner barreras de seguridad es loable, pero añaden que los chatbots siguen representando un peligro para los niños y las poblaciones vulnerables.
“Básicamente, se trata de que su niño o adolescente tenga una relación emocionalmente intensa, potencialmente profundamente romántica o sexual con un ser… que no tiene responsabilidad sobre hacia dónde conduce esa relación”, dijo Jodi Halpern, cofundadora del Grupo Berkeley para la Ética y Regulación de Tecnologías Innovadoras en la Universidad de California.
Los padres, advierte Halpern, deben ser conscientes de que permitir que sus hijos interactúen con chatbots no es diferente a “dejar que su hijo suba al auto con alguien que no conoce”.
Katilyn Morris y Tonya Simpson de ABC News contribuyeron a este informe.
