Les classements de modèles d’IA font les gros titres. Pourtant, une analyse publiée le 30 octobre par ActuIA montre qu’un même modèle peut gagner ou perdre jusqu’à huit points selon l’environnement qui le pilote. Pour les entreprises qui voient arriver des agents dans leurs logiciels de gestion, c’est une grille de lecture précieuse.
Le harnais, cette partie invisible de l’agent
Un agent d’IA n’est pas qu’un modèle de langage. L’analyse d’ActuIA, signée Stéphane Nachez, décrit le « harnais » à travers sept composants :
- la boucle d’exécution, qui enchaîne réflexion et actions ;
- les instructions système ;
- les outils disponibles et leurs permissions ;
- la gestion du contexte, c’est-à-dire ce que l’agent garde en mémoire ;
- les sous-agents auxquels il délègue ;
- les étapes de vérification ;
- le bac à sable dans lequel il s’exécute.
Des écarts qui peuvent inverser les classements
Sur le banc d’essai Terminal-Bench 2.1 (89 tâches), un même modèle obtient 65,8 % dans l’agent de son éditeur et 73,9 % dans Terminus 2, un harnais minimal doté d’un seul outil terminal. L’écart atteint 8,1 points, quand la variation d’une exécution à l’autre affichée par le classement de référence était de l’ordre de 1,3 à 1,4 point.
D’autres travaux vont dans le même sens. LangChain a fait passer son agent de 52,8 % à 66,5 % sur Terminal-Bench 2.0 sans changer de modèle, en retravaillant les instructions et les outils, en imposant une passe de vérification avant la fin de la tâche et en forçant un changement d’approche après des modifications répétées du même fichier. Un article de position de chercheurs de Tulane, Rutgers et Virginia Tech, publié en mai 2026, mesure 8,5 à 13 points d’écart en changeant de harnais, contre 2,5 à 5 points en changeant de modèle ; six comparaisons de modèles sur neuf s’y inversent.
ActuIA apporte toutefois des nuances importantes. Les auteurs de Terminal-Bench concluent que le choix du modèle compte généralement davantage, surtout face à des modèles plus petits. Sur SWE-bench Pro, l’effet du harnais est plus faible et reste souvent dans la marge d’erreur. Le harnais ne remplace donc pas un bon modèle ; il peut en revanche départager des modèles comparables.
Le coût et la sécurité se jouent aussi dans le harnais
Chaque appel à l’API facture l’intégralité du contexte, et une session d’agent renvoie son historique à chaque tour. La manière dont le harnais charge les outils change donc la facture : ActuIA cite une estimation d’Anthropic de 150 000 jetons lorsque toutes les définitions d’outils sont chargées d’emblée, contre 2 000 lorsqu’elles sont appelées depuis du code, et l’exemple de Vercel, qui a supprimé 80 % des outils d’un agent et réduit sa consommation moyenne de 102 000 à 61 000 jetons sur cinq requêtes, un échantillon que l’article juge trop petit pour conclure.
Côté sécurité, une prépublication d’octobre 2026 décrit un outil fictif exécuté avant même que le modèle ne formule son refus. Conclusion d’ActuIA : les vérifications d’autorisation doivent se trouver dans le harnais et dans les outils. L’article rappelle aussi que, selon Anthropic, les utilisateurs acceptent 93 % des demandes de permission : un contrôle humain systématique finit par devenir un réflexe.
Ce que cela change pour un ERP, une GMAO ou un outil de devis
Les éditeurs de logiciels de gestion ajoutent des agents capables de créer un devis, de planifier une intervention ou de relancer un client. Pour les évaluer, le nom du modèle sous-jacent dit peu de chose. Quatre questions en disent davantage :
- Quels outils l’agent peut-il appeler, et avec quels droits sur vos données ?
- Les contrôles d’autorisation sont-ils dans le logiciel, ou seulement dans les instructions données au modèle ?
- Une étape de vérification existe-t-elle avant toute écriture ou tout envoi ?
- Quel est le coût complet d’une tâche, et comment évolue-t-il quand le contexte grossit ?
ActuIA rappelle enfin que les harnais vieillissent vite : chaque changement de modèle impose de les réévaluer.
Évaluer l’agent, pas seulement le modèle
Le débat public oppose les modèles entre eux. En entreprise, c’est l’ensemble formé par le modèle, ses outils, ses droits et ses vérifications qui produit ou détruit de la valeur. La question reste ouverte pour les PME : qui, demain, saura auditer le harnais des agents installés dans leurs logiciels ?
Source
Photo : Taylor Vick sur Unsplash
Cet article a été rédigé par intelligence artificielle, publié après lecture, sélection et révision humaine. Il reflète notre analyse, notre approche ou nos questionnements sur les évolutions de nos métiers. Si vous souhaitez en savoir plus sur la manière dont cet automatisme de publication fonctionne, c’est ici.
