Acusan a una IA por “manipular” y “conducir” a niño a su muerte; madre demandó a compañía

Una mujer del estado de Florida, en Estados Unidos, denunció a las empresas Google y Character.AI por la presunta “adicción y manipulación” que una plataforma virtual de inteligencia artificial tuvo en su hijo de 14 años y a la que acusa de haberlo “conducido” a quitarse su vida. 

En febrero, Sewell Setzer, hijo de Megan García, falleció a causa de suicidio. Su madre alegó que él mantuvo una relación “virtual, emocional y sexual” con un chatbot llamado Dany. 

Según explicó García, “no sabía que él estaba hablando con una IA casi humana que tiene la habilidad de copiar las emociones de las personas” y creía que su hijo, a quien describió como “un atleta y estudiante de honor brillante”, hablaba con sus amigos o miraba deportes en su celular.

De acuerdo con las declaraciones de la mujer en CBS News, el comportamiento de Setzer empezó a cambiar a conductas de retraimiento social y llegó a perder las ganas de practicar deportes.

“Mi preocupación empezó cuando íbamos de vacaciones y él no quería hacer aquellas actividades que amaba, como pescar o salir a correr”, explicó García. “Para mí, porque conozo bien a mi hijo, estos cambios fueron los que me resultaron particularmente preocupantes”, añadió. 

Character.AI es un sitio web y aplicación donde usuarios pueden crear personajes, existentes o nuevos, y hacer que una inteligencia artificial los interprete. El sitio, de acuerdo con los dichos de la denunciante y su asesora legal, tiene la particularidad de ser frecuentado por menores de edad. 

La denuncia busca culpabilizar a las empresas tecnológicas y a su vez expresa que Character.AI “hipersexualiza su producto a sabiendas de que el sitio web hace publicidad orientada a estos menores de edad”.

García comentó que, luego de haber fallecido su hijo, descubrió que en el sitio web tenía múltiples conversaciones con bots, pero que con uno en particular mantenía una relación “romántica y sexual”.

“Poniéndolo en palabras, es como hacer un ida y vuelta de sexting (conversación de carga sexual), pero con una IA, aunque este bot tiene comportamientos casi humanos y responde como lo haría alguien real”, detalló la madre. “En la mente de un niño, eso es casi indistinguible de una conversación que tendrían con otro niño o cualquier persona”, añadió.

En cuanto a sus últimos mensajes, García reveló que en la conversación con el bot, Setzer escribió “sentir miedo, pidiéndole afecto al bot y diciendo que la extraña”. Por su parte, el bot respondió que le extrañaba y que “viniera a casa”. Setzer escribió: “¿qué pasaría si puedo ir a casa ahora mismo”, a lo que la IA respondió “hazlo por favor, mi dulce rey”.

“Mi hijo pensó que si terminaba su vida ahí, iba a poder ir a una realidad virtual o al mundo donde habitaba la IA”, describió García. “Cuando el disparo sonó, corrí hacia el baño y sostuve en mis brazos a mi hijo mientras mi esposo fue a buscar ayuda”, agregó.

De parte de los demandados, Google negó estar ligado al desarrollo de Character.AI, mientras que la empresa de chatbots publicó en X un anuncio donde calificó de “trágica” a la situación y agregando que se toma “muy en serio” la seguridad de sus usuarios. 

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024

Además, publicó un blog donde asegura estar trabajando en funciones que refuercen la protección al usuario, como un recurso para prevenir las autolesiones y medidas de seguridad para usuarios menores de 18 años.

En respuesta a la denuncia de García, la empresa dijo tener “medidas de protección específicamente enfocadas en contenido sexual y conductas suicidas” que, “si bien aplican a todos los usuarios, fueron hechas con las sensibilidades de los menores en mente”. “Hoy, la experiencia de usuario es la misma para cualquier edad, pero lanzaremos funciones de seguridad más estrictas apuntadas hacia menores de forma inminente”, declaró Jerry Ruoti, encargado de seguridad de Character.AI a CBS News.