Quand les IA se jugent entre elles

Le LLM Council d’Andrej Karpathy propose une autre mécanique. Plusieurs modèles répondent à la même question, relisent les propositions concurrentes, les critiquent, les classent, puis confient la synthèse finale à un modèle président. L’idée semble rassurante. Elle l’est moins qu’elle en a l’air. Car lorsqu’une IA arbitre le débat entre d’autres IA, elle ne supprime pas les biais. Elle les organise.

L’oracle avait besoin d’un contradicteur

L’expérience la plus répandue de l’intelligence artificielle reste un tête-à-tête. L’utilisateur écrit une demande, le modèle produit une réponse, puis chacun fait comme si cette réponse était le résultat naturel d’un raisonnement. En réalité, elle est surtout la sortie d’un système entraîné à prédire, structurer et formuler de manière convaincante.

Cette relation directe a un avantage. Elle est rapide, fluide, économique. Elle a aussi une faiblesse majeure. Un modèle seul ne dispose pas toujours d’un contradicteur. Il peut manquer un détail, surinterpréter une consigne, inventer une référence, choisir une solution élégante, mais fausse, puis livrer le tout dans une forme si propre qu’elle décourage la vérification.

Le Conseil des IA part de ce constat. Plutôt que de demander à un seul modèle de produire la meilleure réponse possible, il met plusieurs modèles en concurrence. GPT, Gemini, Claude ou Grok deviennent les membres d’un jury. Le chatbot ne parle plus seul. Il entre dans une chambre de délibération.

Une procédure plutôt qu’une intuition

Le dispositif repose sur trois temps. D’abord, chaque modèle reçoit la même question et répond de façon indépendante. Aucun ne voit les réponses des autres. Cette première étape préserve la diversité des approches et limite l’effet de contamination. Chaque modèle expose sa manière de comprendre le problème.

Ensuite, les réponses sont anonymisées. Les modèles reçoivent les copies concurrentes sans connaître leur auteur. Ils doivent alors juger la précision, la logique, l’utilité, la structure et les faiblesses de chaque proposition. Ils ne sont plus seulement producteurs de réponses. Ils deviennent relecteurs, critiques et évaluateurs.

Enfin, un modèle président reçoit les réponses initiales, les critiques et les classements. Il tranche, synthétise et rédige la réponse finale. Le système ne se contente donc pas d’additionner des sorties. Il organise une procédure de contradiction, puis un arbitrage.

Quand les modèles deviennent juges et parties

La promesse du Conseil tient dans cette revue par les pairs automatisée. Une hallucination isolée a moins de chances de survivre lorsqu’elle passe entre les mains de plusieurs modèles. Une faille logique peut être repérée par un concurrent. Une réponse moyenne peut être améliorée par comparaison avec une réponse plus structurée.

Mais le dispositif introduit une ambiguïté. Les modèles ne jugent pas depuis un point de vue neutre. Ils évaluent avec leurs propres préférences, leurs propres réflexes, leur propre idée de la bonne réponse. Une IA peut favoriser une formulation élégante. Une autre peut sanctionner un défaut de présentation. Une troisième peut surestimer une approche proche de son propre raisonnement.

Le Conseil ressemble alors moins à une machine à vérité qu’à une machine à confrontation. Il ne garantit pas une réponse parfaite. Il rend visibles, au moins en partie, les critères de jugement qui se cachent habituellement dans la sortie unique d’un chatbot.

Glissomnie, ou la créativité mise aux voix

Un test de créativité illustre bien cette dynamique. La demande consiste à inventer un mot pour désigner l’habitude de scroller tardivement sur son téléphone au lieu de dormir. Plusieurs propositions apparaissent. « Scrollsomnie » joue la carte de l’évidence. « Veilumin » cherche une forme plus poétique. « Scrolluitar » tente l’hybridation. « Glissomnie » finit par s’imposer.

Le choix est intéressant, car il ne repose pas seulement sur l’originalité. « Glissomnie » évoque le geste du doigt qui glisse sur l’écran, tout en gardant une proximité immédiate avec le sommeil. Le mot se comprend vite, se retient facilement et pourrait entrer dans l’usage. Sur une tâche créative, le Conseil ne produit donc pas seulement une liste d’idées. Il fabrique une hiérarchie.

Ce type de délibération a une vraie valeur éditoriale. Les modèles confrontent des critères souvent implicites. Sonorité, clarté, image mentale, potentiel d’adoption. Là où un chatbot solitaire aurait livré une proposition unique, le Conseil donne à voir la compétition entre plusieurs imaginaires.

L’énigme des sept sœurs, terrain idéal pour la revue croisée

Le test logique fonctionne autrement. L’énigme met en scène sept sœurs dans une pièce. Marie lit, Jeanne cuisine, Sophie joue aux échecs, Claire se maquille, Clémence peint, Anna dort. La question demande ce que fait Clarisse, la septième sœur.

La réponse tient dans une contrainte implicite. Si Sophie joue aux échecs, elle ne joue pas seule. Clarisse joue donc aux échecs avec elle. L’énigme paraît simple, mais elle piège les systèmes qui traitent la liste d’activités comme une simple énumération, sans interroger la logique interne de la scène.

Dans ce cas, la revue croisée a un intérêt clair. Les modèles peuvent vérifier le raisonnement des autres, repérer les réponses trop rapides et converger vers l’explication la plus robuste. Le Conseil montre ici sa force la plus évidente. Il ne rend pas les IA infaillibles, mais il augmente les chances qu’une erreur de raisonnement soit contestée avant la réponse finale.

Le code, vrai cas d’usage du Conseil

Le test du jeu Snake en Python donne une indication plus sérieuse sur l’intérêt opérationnel du système. Coder un jeu fonctionnel ne consiste pas à produire une belle explication. Il faut organiser la boucle de jeu, gérer les déplacements, détecter les collisions, mettre à jour le score, afficher les éléments et éviter les bugs bloquants.

Dans ce contexte, le Conseil agit comme un comité de revue de code. Un modèle propose une architecture. Les autres jugent la lisibilité, la robustesse, la simplicité d’exécution et les risques d’erreur. Une solution peut être critiquée non seulement sur son style, mais sur sa capacité à fonctionner réellement.

Voilà sans doute le terrain le plus convaincant pour ce type d’approche. Un texte moyen se corrige facilement. Un code bancal coûte du temps, crée des bugs et donne parfois l’illusion de fonctionner jusqu’au moment où il casse. Pour les tâches techniques, faire relire une IA par d’autres IA commence à ressembler à une méthode d’assurance qualité.

Le président, point faible du système

Le moment le plus sensible arrive à la fin. Le président reçoit les débats et produit la réponse finale. Il doit arbitrer, hiérarchiser, intégrer les meilleures idées et rejeter les propositions faibles. En théorie, il transforme la délibération en synthèse utile. En pratique, il devient le nouveau centre de gravité du système.

Le président n’est pas un juge extérieur à la machine. Il est un candidat auquel on a donné le marteau. Il peut privilégier son propre style de raisonnement, retenir les critiques qui confortent sa lecture, minimiser une proposition concurrente ou présenter un désaccord comme un consensus.

La phase de synthèse apporte de la clarté, mais elle peut aussi nettoyer les aspérités du débat. Le Conseil donne une impression de pluralisme, puis remet la dernière parole à un seul modèle. La réponse finale paraît plus solide parce qu’elle sort d’un processus collectif. Pourtant, son cadrage dépend encore fortement de l’arbitre choisi.

Le consensus n’est pas la vérité

Le danger central tient dans cette confusion. Un accord entre modèles n’est pas une preuve. Une majorité algorithmique n’est pas une vérification factuelle. Une réponse bien classée n’est pas forcément une réponse vraie. Le Conseil améliore le processus, mais il ne remplace ni la source, ni l’expertise, ni le contrôle humain.

Cette nuance compte. Les IA génératives excellent dans l’art de produire de la cohérence apparente. Elles savent formuler une synthèse propre, ordonnée, rassurante. Dans un système multimodèle, cette capacité devient encore plus puissante. Le lecteur ne reçoit plus simplement une réponse. Il reçoit une réponse validée par une procédure.

Une réponse relue par plusieurs IA impressionne davantage. C’est précisément pour cette raison qu’elle devient plus dangereuse lorsqu’elle se trompe. Le LLM Council réduit le risque de l’erreur solitaire. Il augmente en revanche le risque d’une confiance excessive dans un arbitrage automatique.

La fiabilité a un prix

Le Conseil des IA coûte cher en ressources. Une requête simple devient une séquence de plusieurs appels. Les modèles répondent, relisent, classent, puis le président synthétise. La latence augmente. La consommation de tokens aussi. Pour demander une recette de cuisine, reformuler un mail ou obtenir une réponse rapide, le dispositif n’a aucun sens.

Son intérêt apparaît sur les sujets où l’erreur coûte plus cher que le temps passé. Code, raisonnement complexe, stratégie, analyse critique, comparaison d’options, préparation de décision. Dans ces cas, la lenteur devient acceptable si elle apporte une meilleure détection des failles.

Le Conseil n’est donc pas le futur de toutes les interactions avec l’IA. Il ressemble plutôt à une couche d’audit, à activer lorsque la réponse mérite contradiction. L’IA solitaire reste l’outil de vitesse. Le Conseil devient l’outil de vérification.

La prochaine question sera qui a relu ?

Le projet de Karpathy ressemble à une expérimentation de hacker, mais il pointe vers une évolution plus large. Les futurs systèmes d’IA ne seront pas seulement jugés sur la puissance du modèle qui répond. Ils seront jugés sur la qualité de la procédure qui entoure cette réponse.

Demain, une réponse générée pourrait porter une sorte de traçabilité intellectuelle. Quel modèle a proposé quoi ? Qui a critiqué ? Quels désaccords ont été écartés ? Quel arbitre a décidé ? Selon quels critères ? Cette couche de transparence deviendra essentielle si les IA interviennent dans des décisions plus sensibles.

Le Conseil des IA ne signe donc pas l’arrivée de la réponse parfaite. Il marque plutôt l’entrée dans une nouvelle phase. Après l’IA qui répond, voici l’IA qui relit. Après l’oracle, le comité. Avec une leçon simple à garder en tête. Une réponse discutée vaut souvent mieux qu’une réponse solitaire, mais un consensus entre machines reste un consensus à vérifier.

Florent M
Chaîne YouTube Le Bretzel