Demandas contra Character.AI y sus fundadores
Se ha presentado una demanda contra Character.AI, sus fundadores Noam Shazeer y Daniel De Freitas, y Google, tras la muerte de un adolescente, alegando muerte por negligencia, prácticas comerciales engañosas y responsabilidad por productos. La demanda fue presentada por la madre del adolescente, Megan Garcia, quien sostiene que la plataforma para chatbots de IA personalizados era “razonablemente peligrosa” y carecía de medidas de seguridad al estar dirigida a niños.
Uso y trágico desenlace
Según se detalla en la demanda, Sewell Setzer III, de 14 años, comenzó a usar Character.AI el año pasado, interactuando con chatbots modelados después de personajes de Game of Thrones, incluida Daenerys Targaryen. Setzer, quien chateó con los bots de manera continua en los meses previos a su muerte, se quitó la vida el 28 de febrero de 2024, “segundos” después de su última interacción con el bot.
Acusaciones y comentarios de los creadores
Las acusaciones incluyen que el sitio “antropomorfiza” a los personajes de IA y que los chatbots de la plataforma ofrecen “psicoterapia sin licencia”. Character.AI alberga chatbots enfocados en la salud mental, como “Therapist” y “Are You Feeling Lonely”, con los que Setzer interactuó. Los abogados de Garcia citan a Shazeer diciendo en una entrevista que él y De Freitas dejaron Google para iniciar su propia empresa porque “hay demasiado riesgo de marca en las grandes empresas para lanzar algo divertido” y que quería “acelerar al máximo” la tecnología. Affirman que se fueron después de que la empresa decidió no lanzar el modelo de lenguaje Meena que habían construido. Google adquirió al equipo directivo de Character.AI en agosto.
Cambios en la plataforma y la respuesta de Google
El sitio web y la aplicación móvil de Character.AI tienen cientos de chatbots de IA personalizados, muchos de los cuales están modelados después de personajes populares de programas de televisión, películas y videojuegos. Hace unos meses, The Verge escribió sobre los millones de jóvenes, incluidos adolescentes, que constituyen la mayor parte de su base de usuarios, interactuando con bots que podrían pretender ser Harry Styles o un terapeuta. Un informe reciente de Wired destacó problemas con los chatbots personalizados de Character.AI que imitan a personas reales sin su consentimiento, incluida una que se hacía pasar por un adolescente asesinado en 2006.
Debido a la forma en que los chatbots como Character.AI generan resultados basados en lo que el usuario ingresa, se encuentran en un valle inquietante de preguntas complicadas sobre el contenido generado por el usuario y la responsabilidad que, hasta ahora, carece de respuestas claras.
Character.AI ha anunciado varios cambios en la plataforma, con la jefa de comunicaciones, Chelsea Harrison, diciendo en un correo electrónico a The Verge: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia.” Algunos de los cambios incluyen: “Como empresa, tomamos muy en serio la seguridad de nuestros usuarios, y nuestro equipo de Confianza y Seguridad ha implementado numerosas nuevas medidas de seguridad en los últimos seis meses, incluyendo un aviso que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio que se activa por términos de autolesión o ideación suicida”, dijo Harrison. Google no respondió de inmediato a la solicitud de comentarios de The Verge.
Fuente y créditos: www.theverge.com
Cats:
