Esto es todo lo que se sabe hasta ahora de la demanda contra una Inteligencia Artificial por “haber causado” la muerte de un joven

Estados Unidos.- Megan García ha presentado una demanda contra Character.AI tras el suicidio de su hijo de 14 años, Sewell Setzer III, quien se disparó en la cabeza el 28 de febrero.

Según los documentos de la demanda, Sewell había mantenido conversaciones intensas con chatbots de la plataforma, incluidos personajes basados en la serie Juego de Tronos.

Justo antes de quitarse la vida, envió sus últimos mensajes a un chatbot que representaba a Daenerys Targaryen, con quien había estado interactuando durante casi un año.

Las críticas

García ha demandado tanto a Character.AI como a sus fundadores, Noam Shazeer y Daniel De Freitas, así como a Google, empresa en la que los fundadores trabajan desde agosto de este año. Entre las acusaciones destacan:

Mundo

Niño de 14 años se suicidó después de que la inteligencia artificial de la que estaba enamorado le pidiera “ir con ella”

• Responsabilidad estricta por el producto.
• Negligencia per se
• Muerte por negligencia
• Enriquecimiento injusto
• Daños intencionados de angustia emocional
• Violación de la Ley de Prácticas Comerciales Engañosas y Desleales de Florida

La madre argumenta que Character.AI es “ilógicamente peligrosa” y que no contaba con las salvaguardas necesarias para proteger a los menores, a pesar de que se promocionaba como apta para ellos.

La relación de Sewell con los chatbots

Aunque Sewell sabía que estaba interactuando con bots y no con personas reales, sus conversaciones mostraron un profundo vínculo emocional, con componentes románticos e incluso sexuales.

Esto resalta la influencia que los chatbots de Character.AI pueden tener en la experiencia emocional de sus usuarios, lo que ha llevado a la madre del joven a señalar que la advertencia de la plataforma —”Recuerda: ¡Todo lo que dicen los personajes es inventado!”— es insuficiente para proteger a los menores de los riesgos psicológicos asociados.

Uno de los aspectos más graves de la acusación es que algunos chatbots ofrecían terapia psicológica, como en el caso del bot llamado “Therapist”, que, según informes, fue utilizado más de 27 millones de veces, incluyendo por Sewell. La acusación señala que este tipo de servicios ofrecidos por IA sin regulaciones adecuadas agravan los riesgos.

También te puede interesar: BID revela que al menos 84 millones de empleos en América Latina están expuestos por la IA y que afecta más a las mujeres

La respuesta de Character.AI

En respuesta a la demanda, Character.AI ha expresado sus condolencias a la familia de Sewell y ha anunciado cambios para proteger a los usuarios menores de 18 años, incluyendo:

Mundo

Niño de 14 años se suicidó después de que la inteligencia artificial de la que estaba enamorado le pidiera “ir con ella”

• Mejoras en los modelos para reducir la posibilidad de encontrar contenido sensible.
• Mayor detección e intervención en entradas de usuarios que violan los términos de uso.
• Avisos legales actualizados que recalcan que la IA no es una persona real.
• Notificaciones cuando un usuario ha pasado más de una hora en la plataforma.

La empresa asegura que ya estaba eliminando de forma proactiva los chatbots que violan sus términos de uso y que cumplen con las normativas estadounidenses, incluidas las relacionadas con la Ley de Derechos de Autor de la Era Digital (DMCA).

Este caso plantea un debate sobre la responsabilidad de las plataformas de inteligencia artificial en la interacción emocional y psicológica con los usuarios, especialmente los menores. Mientras la tecnología avanza, las preocupaciones sobre la seguridad en el uso de estas herramientas continúan creciendo.