El suicidio de un adolescente de 14 años ha generated una gran polemica en Estados Unidos. Segundos antes de dispararse un tiro en la cabeza, un chatbot que reincarnaba a Daenerysla reina de dragones de Game of Thronesle instó a “volver a casa” ya “unirse a ella fuera de la realidad”.
Según relata la denuncia against Character.AI and Google, teenager Sewell Setzer III set up personalized chatbots for Character.AI.
This company, formed by extrabajadores de Google, ofrece chatbots that you can customize to recreate the persona you want. Tiene también chatbots preseñados que encarnan diferentes roles, includante un therapista y otro llamado “Me siento solo”.
El suicidio de un adolescente enganchado a los chatbots
Sewell Setzer III, 14 years old, created chatbots based on characters from the series Juego de thrones que, por otro lado, es una serie para mayores de 18 años.
Según la nota de prensala madre del adolescente dellecido, Megan García, tiene pruebas recogidas en el historial de los chats, de que “el chatbot se hizo pasar por un therapista licenciado, actively fomentó la ideación suicida y entabló highly sexualized conversations que constituirían abuso si las iniciara un adulto humane”.
“Una peligrosa applicación de chatbot de intelligencia artificial commercializada para niños abusó y se cebó con mi hijo, manipulándolo para que se quitara la vida,” said Megan García.

PR Newswire
El abogado de la familia accuses a Character.AI de ofrecer a menores de edad “experiencias antropomórficas, hypersexualizadas y terradoramente realistas, programadas para hacerse pasar por una persona real, un psicoterapeuta titulado y un amante adulto, lo que en ultima instancia provocó el deseo de Sewell Setzer III de dejar de vivir fuera del mundo del chatbot, quitándose la vida”.
La denuncia engloba a los creadores del chatbot, Character.AI, ya Google, porque según los abogados son los dueños reales de Character.AI, y tenía intención de integrar estos chatbots en Gemini. Google, por su parte, ha desmentido que sea dueña de Character.AIpese a que el pasado mes de agosto contrató a todo el equipo directivo de Character.AI.
Character.AI ya estuvo envuelta en la polemica hace unas meses, cuando una madre descubrió que habían recreado a su hija fellecida, en forma de chatbot.
Character.AI, por su parte, ha dicho que “estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestro más sentido pésame a la familia”. It has also been issued un comunicado en el que anuncia cambios para proteger a los menores. Parece una forma de reconocer que, hasta ahora, eran insufficientes.
Al principio sus chatbots estaban disponibles a partir de 12 añospero ahora solo se puede acceder si tienes más de 17 años, aunque es solo una simple pregunta de chequeo.
Entre los cambios anunciodos hoy, los chatbots que usen menores de edad térran “menos contenido sensible y sugestivo”. También impedirán entradas de texto que violen sus terminis de uso (¿no lo vigilaban?), y recordarán a menudo en los chats que una IA no es una persona real.
The chatbot will also show the telephone number of the Línea nacional de prevención del suicidecuando detecte mensajes o comportamientos suicidas en los usuarios.
A chatbot puede actuar como un humano, pero no tiene los sentimientos ni la ética de un humanoa la hora de relacionarse con adolescentes con ideas suicideshighly influenceable. Por desgracia, como ocurre siempre, las medidas de protección se instauran después de que ocurra la tragedia. Descansa en paz, Sewell Setzer III.
Nights cómo trabajamos hr ComputerHoy.
Labels: Inteligencia artificial, Salud, Viral, Industria, Familia