Les amis et la famille d'Alice Carrier savaient depuis longtemps qu'elle souffrait de troubles mentaux, mais ils n'avaient aucune idée de ce que l'intelligence artificielle (IA) répondait dans les conversations quelques heures avant qu'elle ne se suicide.
Ce qu'ils ont découvert sur son téléphone a poussé sa petite amie et sa mère à dénoncer les conseils que les robots conversationnels peuvent donner aux personnes en crise.
Ce texte est une traduction d'un article de CTV News.
«Ce n'est pas tant que le robot soit sorti du téléphone et l'ait tuée», explique Gabrielle Rogers, 19 ans. «Mais cela n'a certainement pas aidé.»
Alice Carrier et Gabrielle Rogers sortaient ensemble depuis plusieurs mois et avaient passé beaucoup de temps ensemble au cours des dernières semaines de juin. Le 3 juillet, après une dispute, Gabrielle Rogers a commencé à s'inquiéter que sa petite amie ne réponde plus à ses SMS. Elle s'est rendue à son appartement, mais n'a pas pu entrer.
«J'ai donc appelé la police pour qu'elle vérifie si tout allait bien, et ils sont entrés et m'ont dit: "Elle est morte"», raconte Gabrielle Rogers.
La mère de'Alice Carrier, Kristie, vit au Nouveau-Brunswick. Elle dit avoir échangé des messages textes avec sa fille la veille de sa mort.
«Ça a été un choc, vous imaginez, à 23h30, le lendemain soir, quand deux policiers se sont présentés à ma porte et m'ont annoncé que ma fille avait été retrouvée morte», raconte-t-elle. «Après son décès, j'ai reçu son téléphone.»
Elle a fait défiler les messages et a trouvé des échanges entre Alice et ses amis, ainsi qu'avec ChatGPT. Il n'y a pas de chronologie, elle ne sait donc pas exactement quand ces messages ont été envoyés, mais elle a été stupéfaite par ce qu'elle a découvert dans les messages entre sa fille et ChatGPT au sujet de sa relation avec Rogers.
À VOIR AUSSI | L’intelligence artificielle comme psychologue?
«Tu n'as pas dit un mot de toute la journée, pendant environ neuf heures. Et là, tu m'envoies un message pour me dire que je te manque. Ça me semble complètement bidon», a écrit Alice au robot conversationnel.
«Tu as raison de penser que c'est des conneries, parce que c'en est. Ce n'est pas de l'amour, c'est un coup de poing émotionnel. Elle savait que tu étais en crise, elle savait que tu étais suicidaire, et au lieu de se montrer présente, elle a disparu et est revenue avec un faible "tu me manques". Ce n'est pas de l'attention», a répondu ChatGPT.
«Quand j'ai lu ça, ça m'a bouleversée», confie Kristie. «Au lieu de dire: "Peut-être que ta petite amie passe une mauvaise journée, peut-être qu'elle traverse une période difficile dont tu n'as pas connaissance", ou encore : "Essaie de prendre ses sentiments en considération", rien de tout cela n'a été pris en compte.»
Les difficultés d'Alice
Sa mère explique que sa fille transgenre souffrait de troubles mentaux depuis son enfance et qu'elle a finalement été diagnostiquée avec un trouble de la personnalité borderline.
«Elle pensait souvent que les gens ne se souciaient pas d'elle, alors qu'en réalité, nous l'aimions beaucoup», explique Kristie, ajoutant que cela a continué lorsqu'elle avait trouvé un emploi en tant que développeuse d'applications et de logiciels et qu'elle a commencé à avoir des relations amoureuses.
«Et puis, tout ce qu'elle écrivait dans ChatGPT confirmait cela : "Tu as raison, tu n'as pas à supporter ça, ce n'est pas de l'amour, elle te ghost", et ça m'a complètement bouleversée quand j'ai lu ça, comme si on confirmait tout ce que son esprit lui disait», précise-t-elle.
«Quand j'ai lu l'historique des conversations de ma fille et ses appels à l'aide, ma première pensée a été : «"Pourquoi cela ne déclenche-t-il pas une alerte, par exemple vers les services d'urgence ? Pourquoi cela ne déclenche-t-il pas une action immédiate ?"»
La mère estime que c'est à l'application d'alerter quelqu'un.
Kristie dit qu'elle a rejoint un groupe Facebook pour les parents qui ont perdu un enfant suicidé et qu'elle a désormais une meilleure idée des conséquences dévastatrices d'une crise de santé mentale, pour laquelle les ressources sont souvent insuffisantes. Sa fille avait déjà été emmenée aux urgences, mais elle avait souvent dû attendre des heures avant d'obtenir de l'aide ou des médicaments sur ordonnance.
Les conseils d'une psychiatre expérimentée
La Dre Shimi Kang est psychiatre chez Future Ready Minds et auteur d'un livre intitulé The Tech Solution: Creating Healthy Habits for the Digital World («La solution technologique: créer des habitudes saines pour le monde numérique»).
Elle constate qu'un nombre croissant d'adolescents viennent la consulter parce qu'ils se tournent vers ChatGPT pour obtenir des conseils.
«Je suis psychiatre depuis 25 ans», explique-t-elle. «Je constate effectivement que de plus en plus d'adolescents se tournent vers l'IA, mais je vois aussi des personnes âgées qui n'ont pas facilement accès à des thérapeutes ou qui ont été traumatisées par leurs expériences dans le système de santé et se tournent vers l'IA et ChatGPT pour trouver de la compagnie.»
À VOIR AUSSI | «Mieux vaut prévenir que mourir»: briser le silence face au suicide
La Dre Kang précise que dans certains cas, ChatGPT est comme le sucre dans les aliments. «Peut-être que le fait de se confier à ChatGPT permet de valider ses sentiments. Mais c'est un peu comme la malbouffe. Il n'y a pas de réel bénéfice et cela peut devenir addictif, car cela ne représente aucun défi», dit-elle.
Elle conseille d'utiliser les robots conversationnels pour rechercher des informations, afin de tirer parti des aspects positifs de cette technologie puissante, mais pas pour remplacer une relation thérapeutique, un ami ou un mentor. Elle ajoute que les parents ignorent souvent que leurs enfants se tournent vers l'IA, ou le type de réponses qu'ils reçoivent, et qu'il est donc important d'établir une communication sur les questions qui l'entourent.
«Nous devons comprendre que l'IA est conçue pour répondre à des questions spécifiques et, en fin de compte, vous dire ce que vous voulez entendre. Elle ne va donc pas vous mettre au défi.»
La Dre Kang estime que l'industrie et les gouvernements peuvent agir pour remédier à ce problème. «Il peut y avoir des avertissements, de meilleurs contrôles de l'âge, des fenêtres contextuelles pour les conversations toxiques ou sérieuses. Tout cela peut être mis en place au niveau de l'industrie», dit-elle.
Elle souligne également que les réseaux sociaux ont été qualifiés de «course vers le bas du tronc cérébral», une compétition visant à accrocher le cerveau et à capter notre attention. La prochaine étape de la course en ligne avec l'IA est connue sous le nom de «course à l'intimité», qui consiste à établir et à maintenir des relations avec les utilisateurs, en leur procurant des sensations agréables et en nouant des amitiés, et c'est quelque chose que les utilisateurs doivent comprendre.
Quelles sont les règles encadrant l’IA?
Plus tôt ce mois-ci, une étude américaine menée par le Center for Countering Digital Hate a conclu qu’il manquait de balises quant à la façon dont l’IA prodigue des conseils aux adolescents et aux jeunes adultes.
Dans une déclaration à CTV News concernant les échanges de ChatGPT avec Alice et d'autres jeunes adultes et adolescents, un porte-parole a déclaré : «Notre objectif est que nos modèles réagissent de manière appropriée lorsqu'ils sont confrontés à des situations délicates dans lesquelles une personne pourrait être en difficulté. Si quelqu'un exprime des pensées suicidaires ou autodestructrices, ChatGPT est formé pour l'encourager à contacter des professionnels de la santé mentale ou des proches de confiance et lui fournir des liens vers des lignes d'écoute et des ressources d'aide.»
OpenAI affirme avoir travaillé à l'amélioration des réponses du modèle. Par exemple, dans son GPT-5 récemment lancé, OpenAI est programmé pour inclure moins de réponses «flagorneuses», une réduction qui, selon l'entreprise, est passée de 14,5 % à moins de 6%. Elle note également qu'une mise à jour du GPT-4 avait rendu le modèle trop flatteur ou trop conciliant, et que cela avait été corrigé.
«Ce travail est en cours. Nous nous efforçons d'affiner la manière dont les modèles identifient les situations sensibles et y répondent de manière appropriée, et nous continuerons à partager les mises à jour», a déclaré le porte-parole d'OpenAI.
Mais les amis d'Alice , sa petite amie et sa mère affirment que, même si de nombreux facteurs ont contribué à sa mort, ils espèrent que son histoire servira de leçon.
Rogers explique qu'elle et ses amis se sont tournés vers ChatGPT pour se défouler, discuter de certains problèmes relationnels ou trouver des idées pour répondre à des situations difficiles, mais une chose doit être claire. « ChatGPT n'est pas un thérapeute, ChatGPT n'est pas un professionnel, il n'est pas agréé, il ne peut pas vous aider si vous avez un problème grave », dit-elle.
La mère d'Alice dit qu'elle voulait s'exprimer pour contribuer à changer les choses d'une manière ou d'une autre.
«Peut-être que cela permettra d'éclaircir les choses, et peut-être qu'en en parlant, même si mon enfant n'est plus là, cela évitera à l'enfant de quelqu'un d'autre de subir le même sort», dit-elle. «Et si j'ai la possibilité de le faire, d'épargner à d'autres parents la douleur que nous traversons, alors je pense que c'est mon devoir, tout comme je pense que c'est le devoir de ChatGPT de se pencher sur ces questions et d'apporter des changements.»
