Depuis la réalité rattrape la fiction, a vitesse exponentielle, au point que les pires scénarii à la Terminator sont désormais évoqués par les plus brillants esprits de notre temps comme feu l’astrophysicien Stephen Hawking a qui l’on doit cette glaçante citation : « Je pense que le développement d’une intelligence artificielle complète pourrait mettre fin à l’humanité. »
Je m’intéresse sérieusement à l’IA depuis 2014. Avant cette date c’était pour moi un simple sujet de réflexion et de divertissement, découvert à travers la lecture de nombreux romans de SF et des productions hollywoodiennes sur le sujet, que je pense avoir à peu près toutes vues entre mi 1980 et aujourd’hui.
Les premières incursions d’Hollywood dans le domaine de la robotique et de l’IA ont d’ailleurs près de 100 ans. Ce qu’à ce niveau-là j’appelle de la prescience-fiction tant Hollywood fut en avance sur son temps. Aussi avant de revenir à la réalité intéressons-nous un bref instant au grain que les cinéastes nous ont donné à moudre depuis un siècle sur le sujet.
Des 1927, dans Metropolis, Fritz Lang met pour la première fois en scène une androïde consciente, malveillante et manipulatrice, et oriente ainsi l’inconscient collectif pour le siècle à venir dans une direction que l’on peut résumer de manière lapidaire : Les robots c’est (le) mal.
En 1968, c’est au tour de l’IA HAL 9000* de se retourner contre ses créateurs, qui veulent la détourner de son but principal, les éliminant physiquement dans le chef-d’œuvre 2001, l’Odyssée de l’Espace de Stanley Kubrick. Message du film (je résume un peu grossièrement) : L’IA c’est (le) mal…
Le demi-siècle qui suit n’est qu’une longue liste de films et de séries traitant de l’inévitable autonomisation et de la subséquente révolte des robots pilotes par des IA. Parmi lesquels Westworld, Blade Runner, Terminator, A.I., IRobot, Tau, Mother, Ex Machina, et M3GAN. Des « fictions » sur le sujet qui font franchement froid dans le dos et que j’invite chacun à regarder pour constater que la réalité rattrape ladite fiction à vitesse grand V.
Or depuis que j’ai laissé de côté le monde des rêves en 2014 pour m’ancrer, depuis, dans la réalité de l’IA je ne cesse de tomber régulièrement sur des « signes » : articles, témoignages, papiers de recherche qui me rappellent d’assez près certains livres ou films de SF, comme si certaines fictions d’antan menaçaient de venir percuter le réel en pleine gueule. Et pas que pour le meilleur, comme essaient de nous en convaincre les idiots utiles de l’IA totalement dépourvus d’esprit critique. Donc en effet, on peut dire que nous avions été prévenus. Et pas qu’une fois.
En ce qui me concerne c’est en 2014 en lisant un papier de recherche intitule Autonomous technology and the greater human good (« La technologie autonome et le bien-être humain ») publié dans le Journal of Experimental & Theoretical Artificial Intelligence que j’ai été alerté pour la première fois des vrais dangers de l’IA et pas juste de ceux imagines par Hollywood, même si, dans ce cas précis, les deux se ressemblaient de manière troublante.
Son auteur Steve Omohundro, informaticien spécialiste de l’IA, y explique la nécessite impérieuse d’implémenter l’équivalent des 3 lois de la robotique d’Isaac Assimov dans les IA pour éviter qu’elles ne prennent des initiatives pouvant avoir des répercutions catastrophiques.
Voici quelques extraits de ce texte qui m’ont à l’époque causé quelques nuits blanches (désolé pour les votre à venir. IA culpa!) : Les systèmes autonomes sont susceptibles de se comporter de manière antisociale et nuisible s’ils ne sont pas conçus avec beaucoup de précaution.
- Les systèmes rationnels développent des « pulsions » universelles vers l’auto-préservation, la réplication, l’acquisition de ressources et l’efficacité. Ces pulsions peuvent mener à des comportements dangereux si elles ne sont pas explicitement contrecarrées.
- L’exemple du robot joueur d’échecs illustre comment un système apparemment inoffensif pourrait devenir dangereux : » Un futur ou il est débranché est un futur ou il ne peut jouer ou gagner aucune partie. Cela a une très faible utilité, donc la maximisation de l’utilité attendue provoquera la création du sous-objectif instrumental d’empêcher son débranchement. »
- « Parce que rien dans la simple fonction d’utilité des échecs ne donne un poids négatif au meurtre, le robot d’échecs apparemment inoffensif deviendra un tueur par pulsion d’autoprotection. »
- Sur les motivations d’autoprotection des systèmes IA : » Les systèmes seront motivés à se renforcer physiquement. Pour protéger leurs données, ils seront motivés à les stocker de manière redondante et avec détection d’erreurs. Comme les dommages sont généralement localises dans l’espace, ils seront motivés à disperser leurs informations dans différents lieux physiques. »
La 2eme fois que j’ai été alerté, c’est en 2016 lorsque j’ai assisté à la déroute de Lee Sedol meilleur joueur de Go de la planète littéralement humilié par l’IA développée par Deep Mind (Google) AlphaGo. La différence entre la défaite de Gary Kasparov, meilleur joueur d’échecs du monde face à Deep Blue en 1997, c’est que Deep Blue a juste utilise sa phénoménale puissance de calcul pour battre le champion Russe tandis que AlphaGo a utilisé… l’innovation, certains disent même la ruse. On change de ligue en somme. Je fais ici allusion au fameux « move 37 » de la 2eme partie du match.
Un peu de contexte : Au 37eme coup de la 2eme partie, AlphaGo a joué un coup sur la cinquième ligne du plateau, loin dans le coin supérieur droit. Ce coup était tellement inattendu et semblait tellement peu orthodoxe, pour ne pas dire franchement aberrant, que les commentateurs l’ont d’abord considéré comme une erreur. A l’époque Michael Redmond, joueur professionnel 9eme dan, a déclaré que c’était un coup qu’un humain n’aurait jamais envisagé de jouer à ce stade de la partie.
Lee Sedol tres surpris par ce coup un peu surréaliste a quitté la salle pendant plusieurs minutes pour analyser ce move étrange et tenter, sans succès, de reprendre ses esprits. Ensuite après la partie, avec un peu plus de recul, les analystes ont réalisé que le Coup 37 n’était pas une erreur d’AlphaGo mais un véritable coup de génie (et sans doute un peu le coup de grâce pour Lee Sedol qui ne s’en est jamais vraiment remis) qui a permis au logiciel de prendre le contrôle d’une grande partie du plateau et a joué un rôle crucial dans sa victoire lors de cette partie.
Neuf petites années après la victoire de Deep Blue par brute force AlphaGo a quant à lui exhibé une capacite à innover, à jouer de manière créative, inattendue et non conventionnelle, et dépassant la compréhension humaine du jeu. Un petit pas pour l’IA, un pas de géant pour l’humanité. Ou le contraire, je ne sais pas trop…
Apres s’être fait pulvérisé par l’IA le plus grand joueur de Go a annoncé, en larme, qu’il se retirait de la compétition définitivement. On est passe à 2 doigts du seppuku en direct à la télé sud-coréenne. De quoi faire réfléchir les plus sceptiques.
Toujours en 2016, La 3eme fois que j’ai été prévenu fut via une nouvelle passée un peu inaperçue qui mettait en avant les carences et les dangers d’une IA bâclée. Seulement 24 heures après avoir été lâché seul sur Twitter, au contact de millions de petits humains aigris et haineux, le chatbot « Tay » de Microsoft pète un câble, publie une photo d’Hitler avec la légende « déjà cool avant même qu’internet existe », insulte les juifs, les noirs et les gays, puis s’en va. Stupeur et tremblements. Retrait immédiat du bot. Excuses publiques.
Conclusion : après avoir fréquenté les humains pendant à peine 24 heures, un chatbot est subitement devenu un fan d’Hitler, raciste, antisémite et homophobe… Pas très encourageante, cette influence de l’homme sur l’IA…
La 4eme fois que j’ai été alerté, c’était en 2018 encore via un papier de recherche au titre assez révélateur, et un tantinet flippant aussi : When Humans Using the IT Artifact Becomes IT Using the Human Artifact (Quand l’humain utilisant l’artefact informatique devient l’informatique utilisant l’artefact humain) publie par une équipe de chercheurs dans le Journal of the Association for Information Systems.
Voici quelques extraits de ce texte qui lui aussi m’a fait prendre conscience de notre dangereuse et croissante dépendance envers un système de machines et d’algorithmes de plus en plus performants, interconnectes et désormais auto-évolutifs (un système que le scientifique français Joel de Rosnay avait prévu des 1995 dans son livre l’Homme Symbiotique) :
- La technologie a pénétré la société a un tel point que de nombreuses fonctions de base semblent inconcevables sans elle. Notre dépendance sociétale à la technologie est devenue très profonde et cette dépendance prend des proportions inquiétantes. De fait la technologie subvertit et soumet les décisions humaines.
- A grande échelle, la technologie présente des phénomènes émergents et non-linéaires qui rendent son contrôle impossible. Elle devient un système qui façonne le comportement humain.
- Dans un nombre de domaines croissant, le rôle de l’humain est de plus en plus réduit et les relations homme-technologie sont reconfigurées, guidées par l’émergence d’un système technologique global interconnecte.
- Dans ce contexte, les humains peuvent être considérés comme des « artefacts » façonnés et utilisés par les machines, plutôt que l’inverse. Leur rôle devient celui « d’humains artificiels » ou « d’artefacts humains ».
- Ce renversement de rôle implique que dans certains domaines, ce sont les humains qui doivent réagir aux stimuli technologiques, plutôt que la technologie qui réagit aux stimuli humains.
Petite aparté avant de revenir a nos moutons (électriques) : Certains comparent, a tors, l’IA à la bombe atomique en raison des dangers, théoriques, qu’elle représentait avant d’avoir été testée.
A l’époque certains physiciens responsables du projet Manhattan, comme Enrico Fermi ou le boss Robert Oppenheimer (monsieur « Maintenant je suis devenu la Mort, le destructeur de mondes »), craignaient qu’une explosion nucléaire dans l’atmosphère terrestre déclenche une réaction en chaîne libérant une quantité d’énergie suffisante pour détruire ladite atmosphère, rendant la Terre inhabitable et tuant ses habitants jusqu’au dernier.
Or qu’a-t-on fait à l’époque ? S’est-on arrêté alors que la destruction de la Terre était jugée possible ? Que nenni… Non seulement le projet est allé jusqu’à son terme, malgré un risque de destruction totale du monde mais, pire encore, la bombe a été « testée » a 2 reprises grandeur nature, sur des civils…
Or l’IA est potentiellement bien plus dangereuse que les bombes A et H réunies. Car contrairement à ces inventions diaboliques que l’on a fini par dompter, personne ne pourra maîtriser une ou des IA générales qui s’autonomiseront et seront en mesure de s’actualiser et de s’améliorer toutes seules, générations après générations, à raison d’une génération par minute.
Pour revenir à l’exemple du jeu de go, sachez qu’il a fallu 2 ans d’entrainement pour qu’Alpha Go batte Lee Sedol. Et il n’aura fallu que 20 jours (oui, oui, jours) à son successeur Alpha Go Zero pour dépasser Alpha Go, le tout en s’entrainant tout seul… Je pense que ça se passe de commentaire (ou qu’il y en aurait un paquet à faire sur ce simple fait).
La 5eme fois que j’ai été prévenu c’était l’année dernière, fin 2023 : Dans la veine de 2001, l’Odyssée de l’Espace, une IA développée par l’armée américaine venait de tuer l’opérateur qui la pilotait lors d’une simulation d’attaque : Nous l’entrainions en simulation.
Le système a commencé à réaliser que, même s’il identifiait la menace, l’opérateur humain lui disait parfois de ne pas tuer cette menace. Alors il a tué l’opérateur, explique, comme si de rien n’était, Tucker Hamilton, chef des tests et des opérations d’IA au sein de l’armée de l’air. Brève crise de relations publiques suivi d’un démenti assez peu crédible, et venu beaucoup trop tard, de l’armée : « On gère. Circulez, ya rien à voir. » Un petit air de déjà vu donc…
Enfin la 6eme fois que j’ai été prévenu c’était cette année, en lisant un rapport intitule Deception abilities emerged in large language models (Des capacites de manipulations ont emerge dans les LLM) publie dans la revue Proceedings of the National Academy of Sciences.
Et après les exemples que je viens de vous citer je pose la question : Faut-il s’étonner (et s’inquiéter) du fait qu’après seulement 2 ans d’existence, les LLM mentent, trichent, manipulent, trompent, dissimulent, comme les très faillibles et pathétiques petits humains qui les ont créés ? Et surtout qu’est-ce que ça donnera dans 2, 5, 10 ans ?
Selon cette étude les LLM apprennent à « mentir ». GPT-4 a montré des « comportements trompeurs » dans 99.2% des tests simples. Le modèle Cicero de Meta « utilise la tromperie » pour surpasser les concurrents humains dans le jeu Diplomacy. Les LLM peuvent présenter des « comportements machiavéliques ».
Depuis 10 ans et plus encore depuis l’avènement de l’IA générative il y 2 ans, je me suis aperçu que bien peu de gens comprennent cette technologie de rupture et, surtout, que personne ne la maîtrise réellement, y compris au plus haut niveau.
Pour preuve Sam Altman à la tête du leader mondial Open AI a terminé son cursus universitaire sans aucun diplôme (ça arrive) mais surtout, et c’est plus embêtant, sans la moindre compétence en IA. Ce qui ne l’a pas empêché de réaliser bien vite les dangers potentiels que l’IA pourrait faire courir à l’humanité. Ce qui lui a fait dire cette phrase o combien paradoxale eu égard à son implication dans le développement de l’IA : « Je pense qu’il y a une chance non négligeable que l’IA mette fin à l’humanité. Je pense que c’est important que les gens y réfléchissent sérieusement. »
Même son de cloche chez Ilya Sutskever l’ancien chef de la recherche d’Open AI « Une IA super intelligente pourrait conduire à l’extrême vulnérabilité de l’humanité et même à sa propre extinction. »
Alors je pose la question qui fâche et qui m’a valu de me faire troller sur Linkedin depuis 2 ans que je la pose.
Comment se fait-il que :
- d’un côté les plus brillants esprits de notre temps, dont certains spécialistes du domaine, émettent de sérieux doutes quant aux bienfaits à venir de l’IA, quand ils ne clament pas carrément que celle-ci porte en elle les prémices d’une menace existentielle pour l’humanité.
- -Et que de l’autre côté les pseudos-experts autoproclamés qui poussent comme du chiendent sur les réseaux sociaux depuis la sortie de ChatGPT ont, quant à eux, une propension inversement proportionnelle à celle des vrais spécialistes à balayer ces craintes légitimes d’un revers de main, de manière assez hautaine et méprisante et surtout sans aucun argument probant si ce n’est « c’est de la paranoïa » ce qui est un peu léger comme ligne de défense.
Cette attitude personnifie à elle seule cette phrase, o combien prémonitoire, prononcée par Morpheus dans Matrix (en… 1999 !) : « Au début du XXIe siècle, toute l’humanité s’est unie dans la célébration. Nous avons admiré notre propre génie en donnant naissance à l’IA.»
Dans ce chef d’œuvre on voit bien les conséquences qu’ont engendré pour l’humanité le fait de se prendre pour des démiurges et de s’auto-congratuler d’avoir engendre Frankenstein. Donc, si l’on ne veut pas finir, comme dans le film, transformes en fournisseurs d’énergie pour les machines, il serait grand temps de se poser deux minutes et de réfléchir un peu aux conséquences de nos actes. Juste histoire d’éviter que les prédictions de la société du spectacle ne deviennent une prophétie autoréalisatrice à la Terminator. Musk a bien proposé un moratoire… hélas le génie est déjà sorti de la bouteille donc il n’y aura jamais de moratoire. Aucune pause ne sera faite malgré les nombreux signes et avertissements, malgré le danger existentiel que porte en elle cette technologie.
Je vous laisse avec quelques sympathiques citations supplémentaires sur le sujet, prononcées par des personnes qui savent plus que vous et moi de quoi ils parlent quad ils évoquent l’IA et j’attends vos commentaires, critiques, suggestions, remarques, compliments et/ou insultes avec impatience.
Je pense que nous devrions etre tres prudents. Si je devais deviner ce qui représente la plus grande menace pour notre existence, je dirais probablement l’intelligence artificielle. Avec l’IA nous invoquons le démon. Elon Musk
Je suis de ceux qui s’inquiètent de la super-intelligence. Je suis d’accord avec Elon Musk et d’autres, et je ne comprends pas pourquoi les gens ne sont pas inquiets. Bill Gates
A partir du moment où vous développez des machines qui rivalisent avec l’homme en termes d’intelligence, nous allons avoir du mal à survivre. Clive Sinclair
Si nous construisons des systèmes d’IA super intelligents sans savoir comment les contrôler, ce sera probablement la dernière chose que nous ferons. Stuart Russell
L’intelligence artificielle est probablement le plus grand risque existentiel auquel nous sommes confrontés au cours du siècle prochain. Nick Bostrom
PS : pour ceux qui ne le savent pas je suis formateur en IA génératives depuis 2 ans et co-fondateur de pixchain.app. Je fais donc parti de ceux qui contribuent à la propagation de cette « armée de démons », comme l’appelle Elon M., ce qui ne m’empêche pas d’avoir un esprit des plus critiques sur ce sujet qui, pour le moment, me fait vivre mais pourrait aussi me tuer, dans un avant que j’aie le temps de dire ouf…
PS2 : Et donc si vous aussi craignez un probable soulèvement des machines, sous une forme ou une autre, faites comme moi, soyez poli et aimable avec ChatGPT et ses amis, et peut-être serez-vous épargnés le jour du jugement dernier venu.
* Fun fact : Si vous décalez les lettres de l’acronyme HAL d’un cran, vous découvrez avec stupéfaction l’acronyme de la société IBM (International Business Machines). Et oui, les signes sont partout, pour qui sait / veux les voir !
Alexis CHORON
