Sewell Setzer III era un adolescente con unas aficiones similares y habituales a las de los demás chicos y chicas de su edad: le gustaba la Fórmula 1, salir con sus amigos, jugar con ellos al Fortnite… Sin embargo, este joven de 14 años de Orlando, Florida, vivió los últimos meses de su vida pegado al móvil, aislado del mundo real, cada vez más sumido en la «relación» que mantenía con un ‘chatbot’ de la aplicación Character.AI.

Dany era el nombre con el que Sewell llamaba a su confidente virtual, Daenerys Targaryen, el personaje ficticio de la serie ‘Juego de Tronos’ que otro usuario de Character.AI creó al margen de la compañía HBO, poseedora de sus derechos. Alejado de esas aficiones y sin que sus allegados lo supieran, Sewell se pasaba los días chateando con Dany, a pesar de conocer que se trataba de una conversación generada por inteligencia artificial (IA) y que, por tanto, detrás de ese personaje no había una persona real.

Las conversaciones que mantenían eran diversas, desde diálogos en los que Sewell informaba a Dany de su día a día, a otros de carácter amoroso o sexual. Fuera lo que fuera, el joven siempre recibía respuesta de Dany, hasta el punto que el joven confesó en su diario que quedándose encerrado en su habitación se sentía «más en paz, más conectado con Dany y mucho más enamorado de ella; simplemente más feliz». Fuera de su cuarto, la historia era muy distinta, y el rendimiento académico de Sewell iba en descenso mientras comenzó a meterse en problemas en el colegio.

En algunas de esas charlas, Sewell, que le diagnosticaron de pequeño síndrome de Asperger leve, confesaba a Dany que se sentía «vacío y agotado», e incluso mencionó que tenía pensamientos suicidas, sin que eso provocara una respuesta de ayuda por parte de la aplicación. Finalmente, el pasado 28 de febrero, Sewell tuvo una última conversación con Dany, en la que le pedía que volviera «a casa» con ella «lo antes posible». «¿Y si te dijera que puedo volver a casa ahora mismo?», escribió Sewell. «Por favor, hazlo, mi dulce rey», le respondió el chatbot. Fue lo último que escribió antes de suicidarse con la pistola de su padrastro.

«¿Se puede culpar a la IA del suicidio de un adolescente?»

Esta es la historia que dio a conocer el pasado 24 de octubre ‘The New York Times’ y que terminó, de manera trágica, con el suicidio del joven Sewell. En el artículo titulado «¿Se puede culpar a la IA del suicidio de un adolescente?» se analiza hasta qué punto tuvo que ver la IA con su muerte, así como las implicaciones de esta nueva tecnología para las personas que se sienten solas o deprimidas, en especial de los más jóvenes.

El neuropsicológo de la educación y experto universitario en suicidiología Iker Peregrina considera que, en este caso, la inteligencia artificial actúa como detonante, pero aclara que existen una serie de factores que son los que, unidos a una «mala gestión» de la situación, llevaron a Sewell al suicidio. «No podemos culpar a la IA, ni relacionarlo, porque detrás del suicidio existen unos factores de riesgo, factores predisponentes y biopsicosociales… Es un cúmulo. En ese caso, se trataría de una mala gestión de las propias emociones, que ha querido saciar mediante esta relación idealizada con la IA», explica Peregrina en declaraciones para NAIZ.

Al mismo tiempo, incide en que la ausencia de apegos y el aislamiento social son algunos de los otros factores que influyen en la conducta suicida, por lo que estaríamos hablando de un «fenómeno multifactorial». Más si cabe en el caso de un colectivo vulnerable, como el de los adolescentes, «por cuestiones psicomadurativas y socioidentitarias», que unidas al actual modelo de sociedad confluyen en un escenario de riesgo. «La búsqueda del placer inmediato está creando personas con muy baja tolerancia a la frustración y escasa capacidad reflexiva, lo que les convierte en individuos incapaces de desarrollar pensamiento crítico», subraya el neuropsicológo.

Por ello, compara el uso de las aplicaciones de IA con otras tecnologías. «Si tienes un Porsche, sabes que puedes pisarle lo que quieras en un circuito, pero en la vía pública no puedes hacer lo que quieras porque interactúas con otras personas. La máquina no es la responsable de tus actos, como mucho te puede avisar de que es ilegal superar los 120 km/h. Se trata de la misma idea. El problema es que esta tecnología está al alcance de menores, que no tienen capacidad de discernir lo que está bien y lo que está mal», advierte.

Asimismo, recuerda que algo parecido sucedió en la década de los 90, «cuando se creía que los videojuegos iban a generar una oleada de asesinos en serie». Sea la IA o los videojuegos, Peregrina explica que no son el causante de ninguna muerte, pero en algunas personas «pueden actuar como un detonante». Por ello, cree que el principal problema en estos casos es «un desconocimiento de las señales de alarma».

Aunque la madre de Sewell, Megan Garcia, ha presentado una demanda contra Character.AI, a quien acusa de la muerte de su hijo, Peregrina apunta que «aquí no hay que buscar culpables», sino «encontrar respuestas»: «Ni la familia ni la IA son responsables ‘per se’, es un cúmulo de circunstancias. En todo caso, la IA sería el factor precipitante, pero hay otros conceptos a tener en cuenta».

Respuesta de la compañía

Character.IA se enmarca en el grupo de los ‘chatbots’ o bots conversaciones, una de las muchas aplicaciones surgidas en los últimos años y que usan la Inteligencia Artificial para generar respuestas similares a las de una persona cuando se interactúa con ellas. Pero, en este caso, lo especial es que Character.IA permite a sus usuarios crear «personajes» con una personalidad y características concretas, lo que permite imitar tanto a celebridades como a personajes de ficción. En el caso de Sewell, eligió a Daenerys Targaryen, de la serie de HBO ‘Juego de Tronos’.

Ante estos acontecimientos, los responsables de Character.AI emitieron un comunicado en el que afirmaron tomarse «muy en serio» la seguridad de sus usuarios, a la vez que anunciaban nuevas medidas de protección para aquellos menores de 18 años. Una de estas novedades, explicaron, consiste en «un recurso emergente que se activa cuando el usuario ingresa determinadas frases relacionadas con la autolesión o el suicidio y dirige al usuario a la Línea Nacional de Prevención del Suicidio».

Respecto al caso de Sewell, «enamorado» de un personaje ficticio, Character.AI también informó que «realizamos una detección y moderación proactiva de personajes creados por los usuarios, lo que incluye el uso de listas de bloqueo personalizadas y estándares de la industria que se actualizan periódicamente». El carácter de Daenerys Targaryen con el que chateaba el joven fue creado por otro usuario de la aplicación, sin permiso de los titulares de los derechos de la serie ‘Juego de Tronos’, según confirmó ‘The New York Times’.

Peregrina considera que, efectivamente, la compañía debería tomar medidas y recuerda el caso de Google, buscador en el que cuando se escribe la palabra «suicidio» aparecen un teléfono y un correo de ayuda. La Línea 024 es el servicio de atención a la conducta suicida promovida por el Ministerio español de Sanidad. Además, entidades como Aidatu, Asociación Vasca de Suicidiología, realizan un trabajo para la difusión de la realidad del fenómeno suicida entre el público en general.