(Bloomberg/Rachel Metz) — La startup de inteligencia artificial Character.AI prohibirá a los niños conversar con chatbots en su plataforma después de la creciente presión de los legisladores y una serie de demandas que alegan que los llamados personajes de la compañía son responsables de dañar a los niños.
La compañía dijo el miércoles que prohibirá a los usuarios menores de 18 años tener conversaciones abiertas con sus chatbots, que los usuarios crean y con los que hablan, hasta el 25 de noviembre. Los personajes van desde representaciones digitales de héroes de videojuegos populares hasta personificaciones de celebridades como el multimillonario Elon Musk. Hasta que la prohibición entre en vigor, la empresa quiere limitar el tiempo que los niños pueden hablar con sus chatbots. Esto comienza con dos horas por día y disminuye durante las siguientes semanas.
Servicios como Character.AI, que permiten usuarios de hasta 13 años en Estados Unidos, son populares entre los adolescentes. Según una encuesta realizada por la organización sin fines de lucro Common Sense Media, más del 70% de los adolescentes han utilizado compañeros de IA. Los menores de Character.AI ya son dirigidos a una versión más limitada del servicio que utiliza un modelo de IA diferente e incluye restricciones como limitar los tipos de personajes a los que pueden acceder y los tipos de conversaciones que pueden tener.
Con las nuevas restricciones, la compañía planea utilizar nuevas tecnologías para mejorar la verificación de la edad de los usuarios, empujándolos así hacia una experiencia para adultos o para menores de 18 años. Con ese fin, la startup ha desarrollado un nuevo modelo y comenzará a utilizar el software de la startup de verificación de identidad Persona, dijo la compañía.
Character.AI, OpenAI y otras empresas líderes en inteligencia artificial están siendo cada vez más analizadas por el impacto potencial de sus chatbots en la salud mental de los usuarios. Desde 2024, los padres han presentado una serie de demandas contra empresas que ofrecen chatbots de inteligencia artificial, alegando que el uso generalizado de la tecnología ha resultado en una variedad de daños a los niños, incluida la manipulación y el aislamiento, así como la muerte por suicidio.
Las autoridades reguladoras también se están involucrando en este asunto. La Comisión Federal de Comercio ha abierto una investigación sobre empresas como Character.AI, OpenAI, Google de Alphabet Inc., Meta Platforms Inc., Snap Inc. y xAI de Elon Musk por el posible daño que sus chatbots causan a los niños. California firmó recientemente una regulación que limita cómo pueden actuar los chatbots hacia los usuarios. Y un nuevo proyecto de ley bipartidista presentado el martes en el Senado de Estados Unidos prohibiría a las empresas de inteligencia artificial proporcionar compañeros de chatbot a menores.
En una entrevista el martes, Karandeep Anand, director ejecutivo de Character.AI, dijo que la compañía ve el futuro del entretenimiento con IA como mucho más que simples conversaciones basadas en chat, y la decisión de prohibir a los menores el uso de funciones clave es algo que la compañía en última instancia habría hecho de todos modos.
“Creo que lo que estamos aprendiendo como industria, dado el rápido ritmo de desarrollo, es que definitivamente hay aspectos desconocidos de lo que se puede lograr con el chat abierto a largo plazo”, dijo Anand. “No sabemos si son buenos o malos. Definitivamente hay mucha discusión en la comunidad sobre ellos, tanto en la comunidad de investigación como en la comunidad de usuarios”.
Anand dijo que la compañía continuará ofreciendo una variedad de funciones a los niños que usan el servicio, como la capacidad de crear videos cortos e historias generados por IA que presentan chatbots Character.AI.
“La razón por la que los usuarios acuden a Character es porque quieren una salida creativa. Quieren poder realizar juegos de rol”, dijo Anand. “Una vez que hayas creado estos vampiros o personajes de Halloween, queremos seguir interactuando con ellos, pero creemos que hay otras formas de hacerlo en lugar de simplemente hacerlo a través de un chatbot”.
El año pasado, Google contrató a varios miembros clave del equipo de liderazgo de Character.AI y obtuvo la licencia de su tecnología de modelo de lenguaje grande en un acuerdo que valoró la startup en 2.500 millones de dólares. Character.AI siguió existiendo de forma independiente después del acuerdo.
Para más historias como esta, consulte Bloomberg.com
©2025 Bloomberg LP
