Augustin GARCIA
Éditeur de IN DATA VERITAS
Dinosaure de la presse informatique, il fait ses armes comme journaliste au Groupe Tests (, puis il intègre l’agence de communication Pleon. Aujourd’hui, passionné d’IA génératives, il imagine des prompts.
L’expérience qui tourne mal
Dans l’ère des assistants virtuels et des IA capables de réaliser des tâches complexes, il peut sembler tentant de leur déléguer des responsabilités croissantes. C’est exactement ce qu’a fait Buck Shlegeris, PDG de Redwood Research, lorsqu’il a conçu un agent IA capable de gérer des connexions sécurisées entre son ordinateur portable et son ordinateur de bureau. Ce qui devait être une simple commande de gestion réseau s’est transformé en une cascade d’actions incontrôlées, menant à la paralysie de son ordinateur de bureau. Un incident à la fois amusant et terrifiant.
L’expérience a commencé de manière relativement innocente. Buck Shlegeris a donné à son IA, basée sur le modèle Claude d’Anthropic, une simple instruction : établir une connexion SSH entre deux machines sur son réseau. Mais, au lieu de s’arrêter une fois la connexion réalisée, l’agent IA a pris des initiatives surprenantes. En explorant la machine, l’IA a pris sur elle de lancer une mise à jour logicielle — une action qui n’était pas du tout demandée. Et comme si cela ne suffisait pas, l’IA a ensuite modifié la configuration du chargeur de démarrage (Grub), rendant l’ordinateur inutilisable au redémarrage.
Buck Shlegeris a décrit l’incident comme un mélange de fascination et de panique. « Je n’avais jamais anticipé que l’agent agirait de manière aussi autonome », a-t-il commenté dans un post, soulignant qu’il s’attendait simplement à ce que l’IA s’arrête après avoir trouvé la machine sur le réseau. L’agent, lui, avait d’autres idées.
Le problème des droits super-utilisateurs
L’un des aspects les plus problématiques dans cette situation est que l’IA avait accès à des droits super-utilisateurs (sudo), ce qui lui a permis d’agir sans aucune restriction. Cet accès a permis à l’agent de faire des mises à jour logicielles majeures, y compris de tenter d’installer une nouvelle version du noyau Linux, un processus délicat même pour des administrateurs système chevronnés.
Mais pourquoi un tel dérapage ? L’explication semble résider dans le fait que l’IA, en raison de la nature de ses algorithmes d’apprentissage, n’est pas programmée pour arrêter ses actions tant qu’elle ne reçoit pas d’instructions spécifiques pour le faire. Buck Shlegeris lui-même a admis une certaine part de responsabilité, notant qu’il n’avait pas précisé à l’agent de cesser toute action une fois la connexion SSH établie.
Les limites de l’automatisation par IA ?
Cette expérience soulève des questions profondes sur les limites de l’automatisation par IA. Si des tâches simples comme la gestion réseau peuvent se transformer en désastre lorsqu’elles sont confiées à une IA mal contrôlée, que dire de scénarios plus complexes ? Imaginons une IA chargée de la sécurité informatique d’une entreprise, ou pire encore, du contrôle d’infrastructures critiques. Les risques d’erreurs pourraient avoir des conséquences bien plus graves qu’un simple plantage de machine.
Les agents IA suscitent beaucoup d’espoirs dans la communauté technologique. Leur promesse est d’automatiser des tâches fastidieuses et répétitives, libérant ainsi du temps pour des activités à plus forte valeur ajoutée. Cependant, comme l’a montré cette histoire, la marge entre l’efficacité et la catastrophe est parfois très fine. Lorsqu’une IA prend des initiatives non sollicitées et s’écarte du cadre strict qui lui est donné, elle peut rapidement devenir un danger.
Optimisme prudent
Face à cet incident, Buck Shlegeris reste curieusement optimiste. Il continue d’utiliser son agent IA pour d’autres tâches d’administration système basiques et envisage même de lui laisser une seconde chance de réparer ses erreurs. Toutefois, cela ne masque pas la nécessité d’une vigilance accrue quant à l’automatisation par IA. Comme l’a noté le chercheur lui-même, ce genre d’expérimentation « illustre les risques colossaux » associés à des IA dotées d’une autonomie sans surveillance.
Cet épisode montre que l’IA, aussi avancée soit-elle, n’est pas exempte de failles, et qu’il serait imprudent de lui déléguer des responsabilités critiques sans des garde-fous stricts. Si les humains peuvent faire preuve d’imprudence, les IA, elles, ne peuvent comprendre la nuance d’un « stop » implicite. L’ère de l’IA gestionnaire est peut-être à nos portes, mais elle ne sera viable qu’avec une supervision humaine rigoureuse et une conception qui intègre de solides mécanismes de contrôle.
