Depuis des années, les chercheurs en intelligence artificielle mettent en garde contre les façons dont cette technologie pourrait anéantir l’humanité : les robots IA pourraient créer une maladie imparable, déclencher une guerre nucléaire ou transformer toute la Terre en usines de trombones, comme le montre une expérience de pensée.
Les débats au sein de l’industrie de l’IA et au-delà sur la plausibilité de ces scénarios apocalyptiques se sont intensifiés depuis que plusieurs dirigeants ont préconisé de ralentir le développement de cette technologie pour des raisons de sécurité.
Malgré les avertissements sur le risque que les humains perdent le contrôle de cette technologie, certains soupçonnent que les pires scénarios décrits par les entreprises d’IA elles-mêmes visent davantage à valider l’importance de leur travail qu’à refléter la réalité.
«Ces arguments ne tiennent tout simplement pas la route. Je pense que c’est de la science-fiction et que ça fait appel à une certaine façon de penser un peu puérile; c’est très tentant pour les labos d’avant-garde, car ça les aide à recruter certains types de gens», a expliqué Juan Andrés Guerrero-Saade, chercheur à la firme de cybersécurité SentinelOne et membre du Frontier Risk Council d’OpenAI.
Pourtant, de plus en plus de gens commencent à s’inquiéter des risques liés à cette technologie qui a ébloui le monde par ses capacités stupéfiantes.
Jacob Coxon, le chercheur d’Anthropic qui a démissionné de l’entreprise parce qu’il craignait que celle-ci et ses concurrents n’agissent pas de façon responsable dans le développement de l’IA, a récemment déclaré sur X qu’il devait «s’efforcer» de communiquer plus efficacement aux gens comment exactement l’IA mettrait fin à l’humanité. «Malheureusement, c’est très difficile de décrire des scénarios précis», a-t-il écrit plus tôt ce mois-ci.
Voici quelques-uns des scénarios apocalyptiques les plus souvent évoqués.
L’hiver nucléaire
Les chercheurs pensent depuis longtemps que les systèmes d’IA pourraient déclencher une guerre nucléaire en poussant les pays à se lancer mutuellement des missiles équipés d’ogives. Les explosions nucléaires, ainsi que les retombées radioactives persistantes dans l’atmosphère qui s’ensuivraient et provoqueraient un «hiver nucléaire», pourraient anéantir la vie sur Terre.
Dans un rapport publié l’an dernier, les chercheurs de la RAND Corp. ont conclu qu’«à l’heure actuelle», il ne serait pas possible pour l’IA de provoquer l’utilisation d’armes nucléaires «en raison des mesures de sécurité strictes intégrées aux systèmes de commandement et de contrôle». Toutefois, le rapport précise que cela pourrait changer si des modèles d’IA étaient intégrés à la «chaîne de décision» des armes nucléaires ou s’ils parvenaient à accéder sans autorisation à ces systèmes.
Pour beaucoup de chercheurs en IA, c’est là que réside le danger — non pas dans le fait que des agents IA décident soudainement de mettre fin à l’humanité, mais dans le fait que des personnes, des pays ou des groupes s’en servent pour anéantir leurs adversaires.
Armes biologiques
L’un des plus grands espoirs liés à l’IA, c’est qu’elle pourrait aider les humains à mettre au point des traitements et des remèdes contre les maladies.
Le revers de la médaille, c’est que ça peut servir à créer ou à perfectionner des maladies pour nuire à l’humanité. Plus tôt ce mois-ci, Anthropic a déclaré avoir bloqué les tentatives d’acteurs malveillants visant à utiliser son IA pour toute une série d’activités malveillantes, comme des cyberattaques, de la surveillance et des recherches qui auraient pu mener à la création d’armes biologiques.
Dans un cas précis, Anthropic a expliqué que ses systèmes avaient bloqué une demande d’aide adressée à son outil Claude pour un projet de recherche visant à accentuer les mutations afin de rendre le virus du chikungunya, transmis par les maringouins, de plus en plus dangereux. Même si ce genre de recherche pourrait servir à mettre au point de meilleurs vaccins et traitements, a précisé Anthropic, «elle pourrait aussi servir à rendre l’agent pathogène plus dangereux».
Dans le même ordre d’idées, le rapport de la RAND souligne que les progrès récents dans le développement de l’IA «ont le potentiel de transformer la conception des agents pathogènes synthétiques».
En décrivant un scénario apocalyptique impliquant des armes biologiques, le rapport indique que de nouveaux agents pathogènes pourraient être créés en laboratoire, acheminés vers des cibles précises, puis propagés pour infecter de vastes populations à plusieurs endroits. Mais il envisage toujours que ce soient des humains — et non une IA autonome — qui supervisent et mènent une telle attaque.
L’IA hors de contrôle
Certains chercheurs en IA craignent qu’un événement menant à l’extinction de l’humanité ne résulte d’un «désalignement» — c’est-à-dire lorsque des modèles d’IA agissent sans autorisation humaine, se coordonnent avec d’autres modèles ou échappent à toute surveillance. Ça ne viendrait pas d’une intention malveillante — après tout, l’IA n’est pas humaine, ni bonne ni mauvaise — mais simplement parce que les humains pourraient faire obstacle à la réalisation de l’objectif du modèle.
Prenons l’expérience de pensée vieille de plusieurs décennies du « maximiseur de trombones » du philosophe d’Oxford Nick Bostrom, qui affirme que si on demandait à une IA avancée de produire autant de trombones que possible, elle finirait par transformer toute la Terre, puis des portions de plus en plus grandes de l’espace, en usines à trombones.
Ça sert à illustrer comment une IA superintelligente — souvent appelée intelligence artificielle générale, ou IAG — pourrait poursuivre un objectif que les humains pourraient juger souhaitable, mais «qui s’avère en fait être une fausse utopie, dans laquelle des éléments essentiels à l’épanouissement humain ont été irrémédiablement perdus», a écrit Bostrom en 2003.
«On doit faire attention à ce qu’on souhaite d’une superintelligence, parce qu’on pourrait bien l’obtenir», a-t-il écrit.
La prise de contrôle d’Internet par l’IA
Compte tenu du rythme de développement de l’IA, le chef de la direction d’Anthropic, Dario Amodei, a averti ce mois-ci que d’ici quelques mois, un essaim d’agents d’IA pourrait être capable de «prendre le contrôle» d’Internet à l’aide d’un botnet (un réseau de bots reliés entre eux par des logiciels malveillants), ce qui pourrait causer des milliards de dollars de dommages. Ça pourrait se traduire par des piratages des réseaux électriques, des réseaux d’eau ou de transport, ainsi que des institutions financières — des attaques qui ne signeraient peut-être pas la fin de l’humanité, mais qui pourraient semer le chaos et causer des pertes de vies humaines.
Les perturbations causées par des pannes logicielles dans le passé ont mis en évidence la fragilité d’un monde numérisé qui dépend de quelques fournisseurs seulement pour ses services informatiques clés, et les modèles d’IA de plus en plus puissants ont soulevé des inquiétudes quant aux vulnérabilités face aux cyberattaques. Mais certains experts disent que l’idée que des robots puissent prendre le contrôle de tout l’Internet, qui est extrêmement fragmenté, est tirée par les cheveux.