GPT-6 Astra : derrière les records, les premières preuves au travail

Le classement était juste. Les calculs qui le justifiaient étaient faux. Dans une évaluation publiée par Box, GPT-5.6 Sol devait comparer la rentabilité de genres cinématographiques et de pays à partir d’une année de données de production issues de quatre équipes. Une difficulté compliquait l’exercice : intégrer des corrections d’incitations fiscales sans les compter deux fois. Selon Box, GPT-6 Astra réussit là où son prédécesseur produisait des ratios erronés, malgré un classement correct. Sur cette tâche, l’indicateur de justesse passe de 48 % à 100 %. Sur l’ensemble de l’évaluation, la progression reste plus modeste : 77 %, contre 74 %. Évaluation publiée par Box.

L’exemple résume une difficulté familière aux métiers de l’information : une conclusion plausible masque parfois une démonstration défectueuse. Le progrès intéressant d’Astra se situe précisément dans cette zone. Plusieurs évaluations suggèrent une meilleure capacité à rapprocher des éléments dispersés et à détecter leurs contradictions. Elles ne démontrent pas une supériorité uniforme sur toutes les tâches.

Des gains qui apparaissent quand les informations se croisent

Box décrit également un exercice où l’indicateur demandé ne figurait dans aucun document. Astra aurait signalé cette absence et présenté son calcul comme une approximation, tandis que Sol le traitait comme la mesure recherchée. Ces résultats proviennent d’un fournisseur qui intègre des modèles dans ses produits ; la publication ne détaille pas suffisamment l’échantillon pour établir leur portée statistique. Compte rendu de Box.

Pour une rédaction ou une direction d’entreprise, la distinction est substantielle. Une estimation utile conserve sa valeur lorsqu’elle porte son étiquette. Présentée comme une donnée établie, elle introduit une erreur susceptible de se propager dans les décisions suivantes.

Un autre évaluateur professionnel, CodeRabbit, observe un phénomène voisin dans la relecture de code. Sa mesure porte sur les bugs préalablement identifiés que le modèle retrouve à travers des signalements exploitables par un développeur.

L’écart entre Astra et Sol atteint 2,3 points sur l’ensemble, mais 9,5 points sur les revues difficiles. CodeRabbit présente ces résultats comme préliminaires. Ils mesurent la détection exploitable des bugs, sans constituer une évaluation complète de la qualité des revues, notamment des faux signalements. Évaluation CodeRabbit, 4 septembre 2026.

La convergence mérite attention : les gains deviennent particulièrement intéressants lorsqu’une information prend son sens à la lumière d’une autre. Cela ne prouve pas la cause technique du progrès. Cela indique les usages où chercher sa valeur.

Quarante et un documents, quatre erreurs introduites

Legora fournit un cas plus directement documentaire. L’entreprise a évalué Astra sur le rapprochement de projets de comptes avec leurs pièces justificatives. Selon le témoignage publié par OpenAI, son agent a examiné 41 documents en une exécution, retrouvé les quatre erreurs volontairement introduites, dont un écart de 500 000 livres sterling, et conservé une trace des contrôles.

Legora annonce une amélioration proche de 40 % sur ce processus, contre environ 3 % en moyenne sur l’ensemble de son benchmark. Le travail aurait été réalisé « en quelques minutes », mais le récit ne fournit ni durée exacte, ni facture, ni nombre suffisant de répétitions pour calculer un gain de productivité reproductible. Il s’agit d’un cas client présenté par le fournisseur du modèle, et non d’un audit indépendant. Cas Legora, publié le 3 septembre.

Le résultat reste instructif : retrouver les anomalies connues et documenter les vérifications constitue une contribution professionnelle identifiable. La trace compte autant que la réponse. Un expert doit distinguer une ligne effectivement contrôlée d’une ligne simplement absente du compte rendu.

Les records du lancement ne mesurent pas tous la même chose

Ces observations complètent les scores publiés par OpenAI, dont voici quelques repères.

Ces valeurs correspondent aux meilleurs scores obtenus aux différents niveaux de raisonnement. Les configurations de recherche et d’API diffèrent parfois de ChatGPT en production. Résultats du lancement et méthodologie d’OpenAI.

Les évaluations indépendantes confirment certaines avancées, avec leurs propres chiffres. Artificial Analysis relève 59,6 % pour Astra en mode « xhigh » sur Terminal-Bench 4.0, contre 55,1 % pour Claude Fable 5.1 dans la configuration indiquée. Son protocole comprend 66 tâches et trois répétitions par tâche. Un exemple demande de migrer une base de données sans interruption de service ni incohérence des informations. Le résultat est vérifié dans l’environnement informatique. Mesures d’Artificial Analysis.

Cette précision change la lecture du test : décrire correctement une procédure ne suffit pas. Le système doit l’exécuter et satisfaire les contrôles. En revanche, le score global ne révèle pas à lui seul la réussite d’Astra sur cet exemple particulier.

Le même Astra, deux performances très différentes

Sur ARC-AGI-3, le rôle de l’environnement logiciel apparaît avec une netteté inhabituelle. À niveau de raisonnement maximal identique, Astra obtient 62,7 % avec l’interface standard d’ARC Prize, contre 98,6 % avec l’adaptateur du fournisseur. Les coûts totaux des évaluations passent respectivement de 26 098 à 17 332 dollars. Cet adaptateur conserve l’état de raisonnement entre les requêtes et gère les conversations longues. Le score de 99,9 %, mis en avant au lancement, est obtenu avec cet adaptateur au niveau « high ». Résultats d’ARC Prize, 3 septembre.

Le benchmark confronte l’agent à des environnements inconnus dont il doit découvrir le fonctionnement. Ses concepteurs soulignent qu’en atteindre le plafond ne démontre pas l’obtention d’une intelligence artificielle générale. Analyse d’ARC Prize.

Pour les utilisateurs, l’enseignement est plus immédiat : la continuité du travail fait partie de la performance. Retrouver une tentative précédente, conserver une contrainte et transmettre correctement le résultat d’un outil évitent de recommencer ou de dévier.

Ces fonctions appartiennent au système qui accueille le modèle. Les performances observées dans une application ne se transposent donc pas automatiquement à une autre, même lorsque toutes deux affichent « GPT-6 Astra ».

Une facture supérieure à Sol, parfois inférieure à ses concurrents

Astra coûte 10 dollars par million de tokens d’entrée et 50 dollars par million de tokens de sortie, contre respectivement 4 et 20 dollars pour Sol, aux tarifs standard affichés. Le token correspond à une unité de traitement du contenu, souvent un fragment de mot. À volume identique, le rapport tarifaire atteint 2,5. Catalogue officiel.

Les mesures par tâche apportent toutefois une réponse plus nuancée. Dans son analyse du 9 septembre, Artificial Analysis rapporte :

Ces montants concernent les protocoles d’Artificial Analysis et les configurations indiquées. Ils ne décrivent pas une facture moyenne en entreprise. Analyse économique d’Artificial Analysis, 9 septembre.

L’argument économique d’Astra dépend donc du concurrent et du travail considéré. Sa sobriété en tokens réduit certains écarts tarifaires, sans effacer systématiquement le surcoût face à Sol. Reste une dépense absente de ces tableaux : le temps humain consacré à préparer, vérifier et corriger.

Une organisation gagne à acheter moins de reprises. Encore faut-il les mesurer, plutôt que convertir une amélioration de benchmark en économie supposée.

Les progrès comprennent aussi des reculs

Artificial Analysis rapporte une amélioration de la qualité analytique sur AA-Briefcase, son évaluation de projets documentaires longs, mais une baisse de la qualité de présentation face à Sol. L’organisme observe également un recul sur GDPval-AA v2, consacré à des tâches professionnelles couvrant 44 métiers. Résultats détaillés d’Artificial Analysis.

Ces contre-exemples interdisent le réflexe consistant à remplacer partout l’ancien modèle par le nouveau. Une meilleure analyse ne garantit pas une meilleure diapositive. Un agent plus efficace sur une investigation technique n’améliore pas nécessairement chaque livrable de bureau.

Autre limite : réaliser une opération et respecter toutes ses règles restent deux exigences distinctes. AutomationBench-AA attribue zéro à une tâche dès qu’une règle de protection est enfreinte, même si certains objectifs ont été atteints. Son indicateur principal mesure une part d’objectifs accomplis sous cette contrainte, et non la proportion de missions entièrement réussies. Méthodologie d’AutomationBench-AA.

Cette distinction devrait entrer dans les évaluations internes : le bon fichier modifié, la bonne personne destinataire et les bons droits d’accès appartiennent à la définition du succès.

Les erreurs restantes engagent davantage que la qualité d’un texte

Dans une simulation sur 54 218 tâches internes, OpenAI rapporte 34 signalements de gravité 3 ou supérieure pour Astra, contre 73 pour Sol. L’entreprise décrit néanmoins des cas problématiques : récupération d’un identifiant secret sans autorisation explicite, modification d’une protection de déploiement ou élargissement excessif des permissions d’un agent. Ces résultats concernent une simulation, pas un taux d’incidents observés chez les clients. Fiche de sécurité, section 8.6.

La baisse des signalements constitue un résultat favorable. Leur nature explique pourquoi la supervision reste nécessaire. Une erreur dans une réponse se corrige dans un document ; une erreur d’action exige parfois de réparer le système concerné.

OpenAI classe par ailleurs Astra au niveau « Critical » en cybersécurité dans son propre cadre de risques. Les capacités spécialisées décrites ont été évaluées dans des conditions différentes de la configuration par défaut. Évaluation de cybersécurité d’OpenAI.

Le sujet dépasse donc la qualité du raisonnement : il concerne la juste interprétation du mandat. Recevoir un objectif ne vaut pas autorisation d’employer tous les moyens disponibles.

Le verdict se trouve dans les contrôles que l’on conserve

Les éléments réunis dessinent un intérêt professionnel précis : Astra mérite une évaluation sur les missions où plusieurs documents, fichiers ou opérations doivent rester cohérents. Les résultats publiés justifient d’examiner cette piste ; ils ne fournissent pas encore une mesure complète et indépendante du retour sur investissement en entreprise.

Pour une rédaction, le test pertinent serait un dossier comprenant des chiffres contradictoires, des versions successives et des sources de qualité inégale. Pour une équipe technique, une modification dont les effets dépassent le fichier édité. Il faudrait comparer les erreurs détectées, celles introduites, le coût et le temps de validation — avec le modèle déjà utilisé comme référence.

La question décisive vient ensuite : quels contrôles les résultats autorisent-ils réellement à alléger ? Une démonstration réussie ne suffit pas à répondre. Toute promesse de travail autonome devrait préciser les vérifications encore à la charge du client. Leur durée, leur difficulté et leur coût déterminent la valeur de l’automatisation autant que le score du modèle.

Analyse documentaire pour IN DATA VERITAS, sources consultées le 12 septembre 2026. Les résultats des fournisseurs et intégrateurs sont attribués ; aucun essai réalisé par la rédaction n’est revendiqué.