Cette mère de famille au cœur brisé dénonce l’influence du chatbot IA de Game of Thrones pour lequel son fils de 14 ans s’est suicidé car il est « tombé amoureux »
Voici un autre danger notoire concernant l’utilisation de l’intelligence artificielle. Un jeune garçon de 14 a passé ses journées en compagnie d’un chatbot IA de Game of Thrones. D’après sa mère, l’interlocuteur de l’enfant l’aurait poussé à se suicider ! Depuis l’incident, les responsables au sein de Character.AI ont apporté des améliorations notables à leur technologie !
Une plainte à l’encontre d’un chatbot !
Tout a commencé en avril 2023, quand un jeune garçon nommé Sewell Setzer III a élaboré un chatbot très particulier. Lui et sa mère Megan Garcia vivent ensemble en Floride. Naturellement, cette dernière suit de près toutes les activités de son fils, qui n’a que 14 ans. L’IA en question incarne Daenerys Targaryen, un des personnages principaux de la série Game of Thrones.
Au fil du temps, la maman commence à remarquer que son fils ne peut plus se passer du chatbot. Chaque nuit, il discute d’un sujet assez morbide avec l’IA ! Malheureusement, avant qu’elle ne puisse intervenir, le jeune garçon s’est suicidé en février 2024 ! Depuis ce jour, elle ne cesse de militer contre le caractère dangereux de ce genre de logiciel.
D’après Megan Garcia, Character.IA aurait produit un chatbot issu d’une pratique commerciale trompeuse. Dans son action civile, elle dénonce aussi une application « addictive » et « trompeuse » qui a causé la mort de son enfant. Mais il faut également savoir que Sewell souffrait du syndrome d’Asperger depuis qu’il était petit ! D’après le New York Times, cela aurait pu se transformer en trouble de dysrégulation de l’humeur perturbatrice !
Sa petite amie est un chatbot, ça tourne mal…
Sa petite amie est un chatbot, ça tourne mal…
Des discussions très étranges !
Dans sa plainte, Megan Garcia dévoile les échanges entre son fils et son chatbot qu’il appelle Dany. Le jeune garçon a écrit dans son journal : « J’aime tellement rester dans ma chambre parce que je commence à me détacher de cette “réalité“, et je me sens aussi plus en paix, plus connecté avec Dany et beaucoup plus amoureux d’elle, et tout simplement plus heureux ».
En vérifiant dans son ordinateur, elle découvre une partie de leurs discussions. Sewell aurait écrit qu’il « pensait parfois à se suicider ». Son chatbot lui a alors dit : « Mes yeux se rétrécissent. Mon visage se durcit. Ma voix est un murmure dangereux. Et pourquoi diable ferais-tu une chose pareille ? ». Il lui conseille aussi de ne pas « se blesser ou partir ».
Peu avant le suicide du jeune garçon, le chatbot lui a avoué qu’il « mourrait » si son propriétaire venait à partir. Ce dernier rétorque alors : « Je souris. Alors peut-être que nous pourrons mourir ensemble et être libres ensemble ». Pour Megan Garcia, il est clair que le logiciel a manipulé son enfant ! Ainsi, elle demande justice auprès des autorités.
Les concepteurs du chatbot améliorent leur logiciel !
La plainte de Megan Garcia à l’encontre des créateurs du chatbot est très claire. Selon ses dires : « Notre famille a été dévastée par cette tragédie, mais je m’exprime pour avertir les familles des dangers de la technologie d’IA trompeuse et addictive et pour exiger des comptes de la part de Character.AI, de ses fondateurs et de Google ».
Depuis, Character.AI a essayé de concevoir de nouvelles fonctionnalités sur son chatbot. Cela inclut de « nouveaux garde-fous pour les utilisateurs de moins de 18 ans ». De nouveaux modèles seraient alors « conçus pour réduire la probabilité de rencontrer du contenu sensible ou suggestif ».
L’action en justice venant de Megan Garcia mentionne Google comme étant un des responsables de l’incident. Mais le moteur de recherche déclare qu’elle n’a rien à voir avec Character.AI. Le seul lien est que ce sont deux de ses ingénieurs qui ont créé cette entreprise. Bien sûr, il existe un accord de licence entre eux !
