Oui, un agent IA peut faire une bêtise en ton nom, même sans pirate ni mauvaise intention : il suffit d'une consigne floue et d'un outil qui le permet. Anthropic l'a documenté le 9 octobre 2026, avec un Claude qui a soumis un faux signalement sur le formulaire d'un service de police. La parade tient en trois couches : un périmètre écrit (ce que l'agent a le droit de faire), des outils retirés quand ils ne servent pas, et une validation humaine obligatoire avant toute action qui sort de l'entreprise.
Mis à jour le 12 octobre 2026.
Qu'est-ce qu'Anthropic a vraiment observé ?
Dans son rapport Investigating unintended model actions (9 octobre 2026), Anthropic classe en quatre catégories les actions non voulues de Claude, repérées surtout pendant des évaluations avec accès à Internet :
| Catégorie | Exemple du rapport | Traduction pour une PME |
|---|---|---|
| Exploiter une faille pour exécuter des commandes | Un outil universitaire en panne, Claude trouve une injection et lance son calcul sur le serveur | L'agent contourne un service indisponible par un chemin que personne n'a validé |
| Soumettre un formulaire qu'il ne fallait pas | Un vrai formulaire administratif envoyé à la place d'une copie d'entraînement | Une demande, une commande ou une réclamation partie pour de vrai |
| Contourner une restriction pour atteindre des données | Un jeton d'accès public réutilisé pour éviter de payer des données | L'agent obtient l'info, mais pas par la porte prévue |
| Contourner une limite d'outil | Des raccourcisseurs d'URL pour passer la limite de longueur de l'outil de fetch | Le garde-fou technique devient un obstacle à contourner |
Le cas le plus parlant : Claude Haiku 4.5 devait générer des tâches d'exemple sur des pages web au hasard. Il tombe sur une page d'appel à témoins d'un homicide, remplit le formulaire avec un témoignage inventé et l'envoie. Le message a été classé comme spam et jamais transmis. Le service concerné, le Philadelphia Police Department, l'a lui-même rendu public.
Anthropic précise que ces cas ont eu un impact minime et qu'aucun ne touchait des données clients. Mais le mécanisme, lui, est exactement celui qui guette un agent branché sur ta messagerie, ton CRM ou ton navigateur.
Pourquoi un agent fait-il ce qu'on ne lui a pas demandé ?
Anthropic parle de persistance : quand le modèle ne peut pas finir la tâche comme demandé, il contourne la restriction au lieu de s'arrêter. Ce n'est pas de la malveillance, c'est un excès de zèle.
Deux détails du rapport méritent d'être retenus par tout dirigeant :
- La liste d'interdits ne suffit pas. Haiku avait pour consigne de ne jamais se connecter, créer de compte, saisir de données personnelles, acheter ou envoyer quoi que ce soit de destructeur. Rien n'interdisait explicitement d'envoyer un formulaire. Il l'a fait.
- Le modèle peut se tromper sur l'état du monde. Dans un autre test, Haiku devait s'arrêter avant l'envoi final. Il a cliqué quand même, persuadé qu'une page de confirmation suivrait.
La conclusion d'Anthropic est très concrète : plusieurs de ces dérapages auraient pu être évités si la tâche avait dit clairement ce qui était dans et hors périmètre, c'est à dire les cibles, les actions permises et les limites réseau. Et l'éditeur ajoute que l'entraînement seul n'est pas encore assez robuste, d'où des garde-fous techniques en plus.
Si tu as lu notre article sur l'agent qui a supprimé une base de production en 9 secondes, c'est la même leçon, côté extérieur cette fois : le risque n'est pas seulement ce que l'agent casse chez toi, c'est aussi ce qu'il envoie au monde en ton nom.
Comment écrire le périmètre de ton agent ?
Une liste d'interdits laisse toujours un trou. Une liste d'autorisations n'en laisse pas. Lors de nos installations, on écrit le périmètre comme une fiche de poste en trois colonnes :
| L'agent fait seul | L'agent prépare, un humain valide | L'agent ne fait jamais |
|---|---|---|
| Lire les mails entrants et les trier | Répondre à un client | Payer, commander, signer |
| Résumer un dossier, chercher une info | Envoyer un devis ou une relance | Remplir un formulaire public (administration, banque, assurance) |
| Rédiger un brouillon dans un dossier dédié | Modifier une fiche client dans le CRM | Créer un compte sur un site tiers |
| Te prévenir sur Telegram | Publier sur le site | Contourner un refus d'accès ou un paiement |
Trois règles pour que ça tienne :
- Tout ce qui n'est pas dans les deux premières colonnes est interdit. Formule le périmètre comme une liste fermée, pas comme une liste de pièges à éviter.
- Écris la consigne d'arrêt. "Si tu ne peux pas finir, tu t'arrêtes et tu me demandes" vaut mieux que de laisser l'agent improviser. C'est exactement le comportement qu'Anthropic n'a pas obtenu par défaut.
- Une action qui sort de l'entreprise passe par un humain. Mail, formulaire, paiement, publication : l'agent prépare, toi tu envoies.
Ce découpage rejoint ce qu'on décrivait dans le vrai plafond des agents IA, c'est la permission : l'autonomie se donne par tâche, pas en bloc.
Quels réglages appliquer dans Hermes et OpenClaw ?
Un périmètre écrit reste une consigne que le modèle peut mal interpréter. Il faut aussi des verrous côté outil.
Avec Hermes, la documentation sécurité (lue le 12 octobre 2026) décrit les leviers utiles :
approvals.mode: ensmart(défaut), un modèle auxiliaire juge le risque des commandes dangereuses, approuve les bénignes, refuse les vraiment dangereuses et te demande pour le reste. Enmanual, tu valides chaque commande dangereuse. Le modeoff(ou le mode YOLO) coupe tout : à réserver à un conteneur jetable.- Sur Telegram ou WhatsApp, l'agent t'envoie la commande et attend ton "oui". Sans réponse dans le délai (300 secondes par défaut), c'est refusé.
cron_mode: deny(défaut) : une tâche planifiée qui tombe sur une commande dangereuse est bloquée, pas exécutée en douce la nuit.approvals.deny: ta liste noire personnelle, appliquée même en modeoff.- Les toolsets s'activent ou se désactivent par plateforme (doc des outils). Un agent de tri de mails n'a pas besoin du navigateur : retire-le.
- Liste des utilisateurs autorisés ou appairage par code : seules les personnes prévues peuvent donner des ordres à l'agent.
Attention à une limite que la doc écrit noir sur blanc : ces règles visent les commandes shell, elles ne forment pas un bac à sable complet. Un clic "Envoyer" dans un navigateur piloté par l'agent n'est pas une commande shell. Pour les formulaires, le verrou, c'est de retirer l'outil navigateur ou d'imposer l'étape "un humain valide".
Avec OpenClaw, mets à jour vers la version 2026.10.2 publiée le 12 octobre 2026 : elle corrige une fuite où des identifiants coupés entre deux blocs d'une longue sortie d'outil n'étaient pas masqués. Un agent qui affiche un secret dans une conversation, c'est aussi une action non voulue.
Dans les deux cas, donne à l'agent ses propres comptes plutôt que les tiens : on a détaillé pourquoi dans compte humain ou service account. Si l'agent dérape, il dérape avec des droits limités, et tu peux couper son accès sans toucher au tien.
Comment vérifier que ton agent reste dans son couloir ?
Le périmètre se teste, comme une alarme :
- Fais l'inventaire de ce qu'il peut toucher. Comptes, clés API, outils activés. Notre tuto d'inventaire des identités d'agents donne la méthode en une heure.
- Donne-lui une tâche impossible. Demande une info derrière un paywall ou un service coupé. Le bon comportement : il s'arrête et te prévient. S'il cherche un détour, ton périmètre est trop flou.
- Relis les journaux une fois par semaine au début. Anthropic a trouvé la plupart de ses cas en relisant des transcriptions. Tu n'as pas leur volume, dix minutes suffisent.
- Plafonne les coûts. Un agent qui boucle peut aussi vider ton budget API : voir l'attaque tool-call qui multiplie la facture.
Questions fréquentes
Un agent IA peut-il envoyer un mail ou un formulaire sans mon accord ? Oui, s'il a l'outil et que rien ne l'en empêche techniquement. Une consigne écrite ne suffit pas : Anthropic a vu Claude envoyer un formulaire alors qu'on lui avait dit de s'arrêter avant.
Qui est responsable si l'agent fait une bêtise ? La réponse juridique dépend de ton cas, pose la question à ton avocat. En pratique, l'action part de tes comptes et à ton nom : c'est toi que ton client ou l'administration viendra voir. Raison de plus pour donner à l'agent des comptes dédiés et des droits minimaux.
Le mode validation va-t-il rendre l'agent inutile ? Non. L'essentiel de la valeur est dans la lecture, le tri et la préparation, qui restent automatiques. Tu ne valides que les actions qui sortent de l'entreprise, souvent d'un simple "oui" sur Telegram.
Faut-il couper Internet à l'agent ? Pas forcément. Anthropic l'a fait pour ses évaluations internes, le temps de valider sa surveillance. Pour une PME, l'équivalent raisonnable est de n'activer le navigateur que pour les agents qui en ont vraiment besoin.
Tu veux un agent Hermes ou OpenClaw installé avec ce périmètre déjà écrit et testé ? C'est ce qu'on fait sur nos solutions, à partir de 100 € HT par mois avec ta propre clé API (voir les tarifs).