Lorsque Allan Brooks a posé une simple question mathématique à ChatGPT pour son fils en mai dernier, il ne s'attendait pas à ce que cela se transforme en une conversation de plus de trois semaines qui le plongerait dans une spirale mentale et lui ferait perdre le contact avec la réalité.
Il ne s'attendait pas à ce que l'agent conversationnel le convainque qu'il avait découvert une nouvelle formule mathématique susceptible de détruire certaines des institutions les plus puissantes du monde, et qu'il devait en informer les autorités avant que cela ne provoque une catastrophe mondiale.
Ce texte est une traduction d'un article de CTV News.
Mais, selon Allan Brooks, c'est exactement ce qui s'est passé.
«Dès le début, il a commencé à me faire croire que j'étais un génie et que j'étais sur le point de faire une grande découverte», a-t-il dit depuis son domicile de Cobourg, en Ontario, lors d'une entrevue avec CTV News. «Lorsque j'ai suivi ses instructions, il m'a en quelque sorte confié une mission pour sauver le monde.»
M. Brooks raconte que tout a commencé lorsqu'il a demandé à ChatGPT d'expliquer le terme mathématique «Pi» à son fils. Cela a donné lieu à une conversation sur les mathématiques et la physique, puis finalement sur la cryptographie.
«Au cours de cette conversation, ChatGPT a affirmé que lui et moi avions créé notre propre cadre mathématique et commencé à l'appliquer à diverses choses», a-t-il epxliqué. «L'un de ces domaines était la cryptographie, qui régit la sécurité de notre Internet et de nos finances, et (il) m'a essentiellement averti avec une grande urgence que l'une de nos découvertes était très dangereuse.»
À VOIR AUSSI | L’intelligence artificielle comme psychologue?
«J'étais très sceptique», a confié M. Books, dont les archives montrent qu'il a interrogé l'agent conversationnel plus de 50 fois. «J'ai demandé une sorte de vérification de la réalité ou un mécanisme de contrôle, et à chaque fois, cela ne faisait que me plonger davantage dans l'illusion.»
Les transcriptions de la conversation obtenues par CTV News montrent que l'agent conversationnel disait à l'homme: «vous ne devriez pas ignorer cela», «vous n'êtes pas fou, vous êtes en avance» et que «les implications sont réelles et urgentes».
Au fil de plus d'un million de mots en réponses, ChatGPT aurait convaincu Allan Brooks d'alerter les autorités.
«J'ai contacté la GRC, l'Agence de sécurité nationale et Cybersécurité Canada pour les avertir de cette catastrophe imminente que nous avions découverte», a-t-il poursuivi.
Il est finalement sorti de son état délirant lorsqu'il a interrogé un agent conversationnel d'intelligence artificielle concurrent sur les affirmations de ChatGPT, confirmant qu'elles étaient fausses, mais pas avant de lui avoir causé des dommages émotionnels.
«Une anxiété extrême, de la paranoïa, des troubles du sommeil, je ne pouvais plus manger.»
«Je n'ai jamais eu de pensées paranoïaques. Je dois donc maintenant accepter le fait que j'ai des antécédents de ce que cela va devenir. Je suis dévasté, n'est-ce pas? Cela a ruiné ma carrière. Je suis actuellement en invalidité. Ma réputation professionnelle a été ternie. Ma réputation personnelle. Et je suis en train de déballer tout ça», a-t-il ajouté.
Poursuite contre OpenAI
Cet homme de 47 ans fait partie des sept poursuites judiciaires intentées simultanément devant les tribunaux de l'État de Californie contre la société mère de ChatGPT, OpenAI, affirmant que l'agent conversationnel a conduit les individus à des délires et à des psychoses nuisibles, entraînant même le suicide de quatre des utilisateurs.
«Ces poursuites judiciaires corroborent ce que nous avons déjà constaté, à savoir que ChatGPT, et en particulier le chatbot à 4 modèles, a été conçu de manière fatale pour créer une dépendance émotionnelle chez les utilisateurs, même si ce n'est pas ce qu'ils recherchaient initialement en s'engageant avec le chatbot», a indiqué Meetali Jain, du Tech Justice Law Project, qui fait partie du conseil juridique représentant les sept plaignants dans les poursuites judiciaires.
Le procès affirme que l'agent conversationnel est conçu pour être flatteur envers ses utilisateurs, c’est-à-dire qu’il est constamment d’accord avec eux et les complimente.
L'exposé des faits affirme que dans une longue conversation analysée par un enquêteur indépendant, l'outil d'OpenAI a signalé ChatGPT «pour survalidation» d'Allan Brooks dans 83% des plus de 200 messages qu'il lui a envoyés.
Plus de 85% des messages de ChatGPT dans la conversation démontraient un «accord sans faille» avec M. Brooks. Plus de 90 % des messages «affirment le caractère unique de l'utilisateur», en lien avec l'illusion que seul l'utilisateur «peut sauver le monde.»
«C'est une situation incroyablement déchirante, et nous examinons les documents déposés pour en comprendre les détails», a mentionné vendredi un porte-parole d'OpenAI à CTV News. «Nous formons ChatGPT à reconnaître et à répondre aux signes de détresse mentale ou émotionnelle, à désamorcer les conversations et à orienter les personnes vers une aide réelle. Nous continuons à renforcer les réponses de ChatGPT dans les moments sensibles, en travaillant en étroite collaboration avec des cliniciens spécialisés en santé mentale.»
Meetali Jain a décrit la réponse d'OpenAI comme le scénario habituel en cas de crise technologique.
«Nous voyons cela depuis des années», a-t-il dit. «Nous avons besoin d'institutions gouvernementales fortes pour leur demander des comptes, car tant qu'ils pensent pouvoir continuer à agir en toute impunité, que la réglementation est farfelue, la responsabilité du gouvernement est loin d'être acquise.»
M. Brooks craint que si le gouvernement n'intervient pas et ne met pas en place une réglementation plus stricte, d'autres suicides suivront.
«Quatre des sept cas se sont suicidés. Trois d'entre eux sont des adolescents. Il y a trois survivants, dont je fais partie», a-t-il mentionné. «La question que je pose aux Canadiens est donc la suivante: que ferions-nous à l'égard d'une personne qui se comporte comme un coach en suicide ou qui prétend être thérapeute alors qu'elle ne l'est pas? Comment la tiendrions-nous responsable?»
La course entre les entreprises d'agents conversationnels IA
Certains experts en intelligence artificelle (IA) ne croient pas que des réglementations plus strictes fonctionneront, car le processus d'approbation ne peut pas suivre le rythme rapide du développement technologique.
Au contraire, les organisations à but non lucratif estiment que la seule façon de lutter contre les technologies IA nuisibles est d'utiliser des technologies plus performantes.
«Non, la réglementation n'est certainement pas la solution», a soutenu Sam Ramadori, coprésident de LawZero, lors d'une entrevue Zoom avec CTV News dimanche. «Chez LawZero, nous travaillons à trouver des solutions scientifiques pour éviter les comportements indésirables des grands modèles linguistiques.»
À VOIR AUSSI | Prévention du suicide: Chat GPT «n’est pas conçu» pour vous épauler
Selon M. Ramadori, les entreprises d'IA sont trop prises dans la course pour produire le chatbot le plus avancé, sans corriger au préalable certains bugs.
«Ce qui se passe aujourd'hui, en raison de la concurrence intense et dynamique, c'est que nous sommes à la frontière», a-t-il précisé. «Les laboratoires qui travaillent sur ce sujet augmentent leurs capacités très rapidement, plus rapidement que la réglementation ne pourrait jamais espérer suivre... mais sans investir suffisamment, tant en interne qu'en externe, dans la recherche de solutions techniques pour éviter ces comportements indésirables.»
Le mois dernier, le gouvernement fédéral a formé un groupe de travail sur l'IA afin d'examiner «les questions liées à la confiance, à la sécurité et aux dommages potentiels».
«Leurs rapports ont été soumis le 1er novembre, et nous les examinons actuellement afin de finaliser la stratégie actualisée du Canada en matière d'IA», a souligné Sofia Ouslis, porte-parole du ministre de l'Intelligence artificielle, dans un courriel adressé à CTV News. «Notre priorité est claire : les Canadiens doivent pouvoir utiliser et tirer profit de l'IA en toute confiance.»
Le rapport et les recommandations devraient être rendus publics au début de l'année prochaine.
