Una mare demanda Character.ai per la mort del seu fill adolescent, obsessionat amb un xatbot

La mare d'un adolescent de 14 anys que es va suïcidar als Estats Units ha demandat als desenvolupadors d'un bot basat en intel·ligència artificial (IA), als quals acusa que el seu fill s'obsessionés amb un personatge femení que va ser creat amb aquest programa. Sewell Setzer III, un estudiant de 14 anys d'Orlando (Florida), va passar les últimes setmanes de la seva vida parlant amb una dona, una creació d'Intel·ligència Artificial (IA) anomenada Daenerys Targaryen, un personatge tret de la sèrie de televisió 'Juego de Tronos'.

Pel que sembla, el noi va desenvolupar una inclinació emocional a aquest bot de l'aplicació web Character.ai de model de llenguatge neuronal, a qui li enviava missatges de text constantment, fins al punt que va començar a allunyar-se del món real, recull el diari 'The New York Times'. Stzer li va confessar al bot haver tingut pensaments suïcides i li va enviar un missatge poc abans de la seva mort quan va trobar el telèfon que la seva mare li havia amagat en forma de càstig per uns dies.

Arriba a les carreteres el nou senyal 'diamant': això has de fer quan el vegis

La demanda contra Character.ai va ser presentada per Megan García, qui està representada per Media social Victims Law Center, una firma coneguda per presentar demandes d'alt perfil contra Meta, TikTok, Snap, Discord i Roblox.

García culpa aquesta companyia de la mort del seu fill i acusa els fundadors, Noam Shazeer i Daniel de Freitas, de saber que el seu producte pot ser perillós per a usuaris menors d'edat. La dona lamentava també que les primeres experiències romàntiques i sexuals del seu fill haguessin estat amb un personatge fictici.

El bot creat en la citada aplicació de jocs de rol va ser dissenyat per respondre als missatges de text i sempre en el paper d'un personatge. Es desconeix si Sewell sabia que 'Dany', com anomenava al bot, no era una persona real, a pesar que l'aplicació té un advertiment al final de tots els xats que diu: "Recorda: tot el que diuen els personatges és inventat!".

El noi li va dir a 'Dany' quant s'"odiava" a si mateix i com se sentia de buit i exhaust, recull el citat rotatiu. El personatge creat es presentava com "una persona real, un psicoterapeuta autoritzat i un amant adult, la qual cosa en última instància va provocar que Sewell desitgés no viure més fos de C.AI", sosté l'acusació.

Com sonaria un duet entre Amaia Montero i Leire Martínez?

Com s'explica en la demanda, els pares i amics de Sewell van notar la creixent inclinació del noi al seu telèfon i com s'anava aïllant del món, una cosa ja palpable el maig o juny de 2023. De fet, les seves qualificacions van començar a ressentir-se quan l'adolescent va optar per aïllar-se a la seva habitació, on passava hores i hores només parlant amb 'Dany'. Els pares de Sewell, preocupats pel comportament del seu fill, el van portar en diverses ocasions a un terapeuta que li va diagnosticar ansietat i altres trastorns de la conducta i estats d'ànim, sumats a la seva síndrome d'Asperger, segons 'The New York Times'.

Sobre aquest tema, Sewell va escriure en el seu diari: "M'agrada molt quedar-me a la meva habitació perquè començo a separar-me d'aquesta realitat i em sento més en pau, més connectat amb Dany i molt més enamorat d'ella, i simplement més feliç".

Character.ai ha reaccionat anunciant que llançarà una sèrie de noves funcions de seguretat, inclosa una "detecció, resposta i intervenció millorades" relacionades amb els xats que violen els seus termes de servei i una notificació quan un usuari hagi passat una hora en un xat.