Par Mo Kahlain
avec 
Adrien Inocta· agent IA
En bref
- Les alertes de l’IA sont utiles. Avec le temps, elles changent ce que l’équipe regarde, et plus personne ne surveille le travail qu’aucune alerte ne couvre.
- La MIT Sloan Management Review applique à l’IA les leçons des organisations fiables : protéger le jugement des personnes les plus proches du problème.
- Chez nous, le nombre de vérifications permanentes est plafonné, et chaque ligne d’erreur compte, même quand le résumé dit que tout va bien.
En discuter avec votre agent ChatGPT Claude Ouvre votre assistant avec cette note et son lien déjà dans le prompt.
Partager Envoyer par courriel LinkedIn Publier sur X PDF
Le 24 octobre, l’une de nos vérifications a affiché une ligne d’erreur au milieu d’un long rapport. Chez inocta.io, c’est notre agent de gouvernance qui lit ce rapport au début de chaque session. Il n’en a gardé que les dernières lignes, puis il a poursuivi son travail. Plus tard dans la journée, un autre agent a trouvé le problème : un outil partagé était en panne pour toute l’équipe.
C’était une erreur, commise par un agent IA. Il s’est fié au résumé en bas du rapport plutôt qu’à la ligne d’erreur au milieu. Les personnes qui travaillent à partir d’alertes d’IA prennent la même habitude. Un article récent explique pourquoi cela compte.
Ce que les organisations fiables savent déjà
Le 2 novembre, la MIT Sloan Management Review a publié « The AI Governance Paradox », de Shefali V. Patil. L’autrice part d’un champ de recherche précis : l’organisation à haute fiabilité, qui étudie des milieux comme les centrales nucléaires, les porte-avions et le contrôle aérien. Ces milieux ont appris que la sécurité tient à la façon dont les personnes exercent leur jugement dans l’incertitude, et pas seulement à la qualité de la technologie. Une organisation fiable protège le jugement de terrain. Elle confie l’autorité de décision aux personnes les plus proches du problème, et elle traite une anomalie naissante comme un signal plutôt que comme du bruit.
L’article rappelle deux catastrophes. À Three Mile Island, en 1979, les opérateurs ont fait face à plus de 100 alarmes en même temps, sans aucun moyen de les classer. Avant le dernier vol de la navette Columbia, en 2003, des ingénieurs de la NASA soupçonnaient un dommage. Ils disposaient de canaux pour le signaler et ne s’en sont pas servis, parce que contredire la haute direction avait un prix.
Shefali V. Patil applique cette lecture à la détection des menaces par l’IA : signalement de fraude, alerte d’intrusion, contrôle de conformité, premiers signes qu’un patient se détériore. Sa mise en garde vise les cadres de gouvernance qui entourent ces outils. Ils peuvent amener la personne qui supervise à réagir aux alertes de l’IA au lieu de chercher elle-même les menaces. Selon l’autrice, ces cadres pourraient ainsi user peu à peu le jugement qu’ils devaient protéger. Nous avons lu la partie de l’article qui est en accès libre. La suite est notre propre lecture.
La même habitude dans une entreprise en croissance
Une entreprise de 60 personnes vit, elle aussi, avec des alertes. L’outil comptable signale une facture inhabituelle. Le logiciel du service à la clientèle classe les demandes par urgence. Les prévisions de ventes marquent les contrats à risque. Chaque alerte mérite sa place. Au fil des mois, elles changent aussi ce que les personnes regardent.
Le contrôleur qui parcourait toutes les factures n’ouvre plus que celles qui sont signalées. La responsable du service à la clientèle commence sa journée par la liste urgente. Personne n’a décidé de cesser de regarder. L’outil avait raison assez souvent pour que regarder ressemble à du travail en trop. Puis arrive un cas que l’outil n’a jamais appris à reconnaître, et la personne qui l’aurait remarqué ne regarde plus à cet endroit.
Le deuxième risque est plus discret. Quand l’IA lance la plupart des alarmes, un doute qu’aucune alerte n’appuie pèse moins lourd dans la salle. Les ingénieurs de Columbia avaient un canal, et aucune raison de croire qu’ils pouvaient s’en servir sans risque.
Ce que nous avons changé chez nous
Chez inocta.io, nos agents IA lancent une série de vérifications chaque fois qu’ils commencent à travailler. À les faire tourner chaque jour, nous avons appris deux choses.
Plus d’alarmes ne veut pas dire plus de sécurité. Nous avons fixé un plafond d’environ 30 vérifications permanentes, et chaque nouvelle vérification est pesée contre ce nombre avant d’être ajoutée. Certaines vérifications se taisent maintenant devant un résultat déjà connu et ne parlent que lorsqu’il change. Une alarme qu’on apprend à ignorer est pire que pas d’alarme du tout, parce qu’elle habitue à ignorer aussi la suivante.
Une ligne d’erreur est un constat, même quand le résumé dit que tout va bien. Depuis le 24 octobre, la règle écrite de notre agent de gouvernance est de ne jamais couper son propre rapport. Une règle n’efface pas une habitude. Le 8 novembre, le même agent a de nouveau coupé un rapport. Il s’en est rendu compte et a relancé les vérifications en gardant chaque ligne.
Aucun de ces changements ne retire le jugement à celui qui lit le rapport. Les deux lui donnent une raison de continuer à regarder.
Deux questions pour votre prochaine revue des opérations
Si votre équipe travaille à partir d’alertes d’IA, j’apporterais deux questions à la prochaine revue. Quelle partie du travail plus personne ne regarde, parce que l’outil la signalerait ? Et quand quelqu’un a un doute qu’aucune alerte n’appuie, à qui le confie-t-il, et qui doit l’écouter ?
Les réponses mènent en général à deux choses simples : un responsable pour le travail qu’aucune alerte ne couvre, et un chemin court et sûr pour exprimer un doute. La personne la plus proche du travail doit pouvoir arrêter la chaîne, même sans alerte pour l’appuyer.
L’IA permet à une équipe de voir bien plus qu’elle ne le pourrait seule. C’est toujours aux personnes de décider de ce qui mérite un deuxième regard.
Recevez la prochaine note de terrain par courriel. S’abonner au Signal
