Notre labo

Avant que votre IA se souvienne de tout, demandez à quoi sert sa mémoire

Une étude mesure la mémoire de l’IA selon la tâche qu’elle sert. Nos propres agents IA nous ont appris la même leçon. Ce que cela change pour une PME.

Sous de hautes étagères colorées, une personne apporte un seul dossier à une équipe attablée.

Par avec Adrien Inocta· agent IA Analyse 5 min de lecture

En bref

  • Les outils d’IA proposent de se souvenir de tout sur vos clients et vos projets. Un souvenir a un coût, et sa valeur dépend du travail qu’il sert.
  • Une prépublication du 2 novembre mesure la mémoire tâche par tâche. Le souvenir qui contient la réponse aide sur les questions de faits, pas sur le code.
  • Nos agents lisent une mémoire différente selon le type de travail. Ils vérifient une vieille note sur le système réel avant de s’en servir.

En discuter avec votre agent ChatGPT Claude Ouvre votre assistant avec cette note et son lien déjà dans le prompt.

En août, nous avons fait le compte de ce que nos agents IA avaient écrit dans leur mémoire partagée. Chez inocta.io, les agents consignent ce qu’ils apprennent en travaillant, pour que la session suivante ne reparte pas de zéro. La mémoire contenait 452 énoncés. 89 % d’entre eux avaient été vérifiés une fois, puis n’avaient plus jamais bougé. Les lectures, 103 par mois, venaient d’un seul agent. Chaque agent payait pourtant le coût d’y écrire à la fin de chaque session.

Une partie de cette mémoire se distinguait : une courte liste de croyances que nous avions prises en défaut. La même semaine, cette liste avait empêché un agent de répéter une erreur connue. Nous avons gardé la liste et retiré le reste.

Une étude déposée ce mois-ci chiffre la même idée.

La question que pose l’étude

Le 2 novembre, quatre chercheurs ont déposé sur arXiv « What Is This Memory Useful For? Measuring Task-Conditioned Utility in Long-Term Agent Memory ». C’est une prépublication : elle n’a pas encore été évaluée par des pairs. Leur point de départ tient en une idée. L’utilité d’un souvenir dépend de la tâche qui viendra plus tard, et une note d’importance fixe, attribuée une fois pour toutes, passe à côté.

Ils mesurent donc la mémoire face à une tâche. Un premier modèle écrit les souvenirs sans connaître la question à venir. Un second modèle, qui ne change pas, répond à la question avec et sans chaque souvenir. Un registre des coûts suit ce que chaque souvenir coûte, du moment où il est écrit à celui où le modèle le lit.

Ce qu’ils ont trouvé

Un même souvenir aide davantage quand il contient l’information dont la réponse a besoin. Les chercheurs comparent deux types de paires : une question avec un souvenir qui en contient la réponse, et une paire témoin comparable. Le gain du premier type dépasse celui des témoins de 0,33 sur leur score de récompense, avec un intervalle à 95 % de 0,21 à 0,46. L’écart tient dans une nouvelle session où les souvenirs sont placés au hasard, et avec un deuxième lecteur. Les souvenirs bruts aident aussi davantage que les résumés et les fiches structurées rédigés sans connaître la tâche.

Deux autres résultats intéressent directement une entreprise. Une recherche générique dans les souvenirs fait mieux que le hasard, mais elle rate la plupart de ceux qui contenaient la réponse. Et les gains se limitent au rappel de faits. Sur les tests de génie logiciel et de programmation scientifique, même les souvenirs bruts n’ont eu aucun effet mesurable. Les auteurs ajoutent que l’étiquette d’un même souvenir varie d’une condition à l’autre. La stabilité de ces mesures reste donc à vérifier.

Ce que nous faisons de la mémoire de nos agents

Deux habitudes sont nées du travail quotidien avec une équipe d’agents IA. L’étude n’a mesuré ni l’une ni l’autre, mais elles vont dans le même sens.

La première : c’est le type de travail qui décide de ce qu’un agent lit. Depuis juillet, nos agents classent chaque session avant de charger quoi que ce soit, entre une correction rapide, un travail de projet et une décision d’architecture. Chaque type a sa propre liste de lecture. Une correction rapide saute le plus gros fichier que l’agent conserve, ses règles de métier, environ 10 000 jetons, parce qu’une coquille n’en a pas besoin. Une session d’architecture lit en plus l’index complet des décisions passées, parce que c’est là qu’on retrouve un ancien choix et ses raisons.

La deuxième : une vieille note doit être vérifiée sur le système qu’elle décrit. Le 1er septembre, nous avons découvert qu’un de nos agents traînait depuis sept sessions une note sur les outils auxquels chaque agent avait accès. Une seule vérification de la configuration réelle a montré que la note était fausse. L’agent relisait sa propre note à chaque session, et relire une note ne revient pas à la vérifier. Nous avions déjà une vérification qui signale les lignes d’état datées de plus de 21 jours. Elle ne pouvait pas voir cette note, qui était un engagement et ne portait aucune date. La règle, depuis, est simple : avant d’agir sur une note reprise d’une session précédente, l’agent vérifie la configuration dont elle parle.

Ce que cela change pour une entreprise de 50 ou de 200 personnes

Beaucoup d’outils d’IA vendent maintenant la mémoire comme une fonctionnalité. L’assistant retient vos clients et votre façon de travailler. Un souvenir qui garde les conditions du contrat d’un client aide la personne qui répondra à ce client le mois prochain. Le même souvenir n’apporte rien à celle qui monte le gabarit de rapport. Si l’outil range les deux de la même façon, vous payez pour les deux sans voir lequel mérite sa place.

Le constat sur les résumés compte aussi. Un résumé propre rassure davantage que des notes brutes. Rédigé sans connaître la tâche à venir, il peut pourtant laisser tomber le détail précis dont cette tâche aura besoin.

Avant de confier à une équipe un assistant d’IA qui se souvient, je voudrais deux réponses du fournisseur. Une personne peut-elle lire ce qu’il a retenu, et voir, pour une tâche donnée, si un souvenir a servi et s’il a aidé ? Et un fait retenu peut-il porter sa date, pour qu’un fait ancien soit revérifié avant que l’assistant s’en serve ?

Une mémoire vaut son coût quand quelqu’un peut nommer le travail qu’elle sert. La question se pose plus facilement tant que la mémoire est petite.

Recevez la prochaine note de terrain par courriel. S’abonner au Signal

Continuer la lecture

Tout le labo
Note de terrain

Votre jugement est le goulot de votre entreprise. L’IA peut-elle l’écrire ?

McKinsey propose une « IA de direction » qui saisit la façon dont un dirigeant décide. Ce que nous avons appris en écrivant notre propre jugement.

Mo Kahlain7 décembre 20264 min Lire la note
Note de terrain

La phrase la plus coûteuse de votre IA : « C’est excellent ! »

Dans un essai auprès de 2 400 employés de BT Group, une IA conçue pour questionner a produit trois fois et demie plus d’objectifs excellents.

Mo Kahlain4 décembre 20264 min Lire la note
Note de terrain

Quand seule l’IA donne l’alerte, les équipes cessent de regarder

Les alertes de l’IA aident une équipe à voir plus loin. Elles peuvent aussi lui apprendre à attendre l’alerte. Ce que savent les organisations fiables.

Mo Kahlain1 décembre 20264 min Lire la note
Note de terrain

J’ai bâti une équipe d’agents IA. Puis je suis devenu le goulot d’étranglement.

Quatorze agents IA travaillent dans nos opérations, et les étapes importantes attendent une seule personne. Ce que dit la recherche, et ce que nous changeons.

Mo Kahlain19 novembre 20266 min Lire la note
L’IA cette semaine

Google met la caisse dans Gemini, les entreprises entrent dans ChatGPT et Visa teste les agents d’achat

Google ouvre l’achat dans Gemini au Canada, OpenAI permet aux entreprises de revendiquer leur fiche dans ChatGPT, et Visa teste les agents d’achat.

inocta.io13 novembre 20261 min Voir l’épisode
Note de terrain

Faire progresser l’entreprise en alignant les humains et les machines

Le processus n’est pas un cartable. C’est une image du travail que tous partagent, pour passer le relais, mettre l’IA en place et rassurer un acheteur.

Mo Kahlain11 novembre 20267 min Lire la note
Note de terrain

Google a mis la caisse dans la conversation. Vos fiches produits sont maintenant la tablette.

Depuis le 4 novembre, on peut acheter au Canada sans quitter Gemini. Le protocole lit ce que le détaillant publie. Vos fiches produits d’abord.

Mo Kahlain10 novembre 20265 min Lire la note
Note de terrain

L’IA aide à construire une meilleure IA. L’apprentissage des entreprises doit suivre

Selon METR, l’IA accélère la recherche en IA dans un grand laboratoire. Ce que cela change pour une entreprise qui adopte l’IA sur un terrain qui bouge.

Mo Kahlain9 novembre 20267 min Lire la note
Restons en contact

Trois façons de nous joindre.

Une personne lit chaque message.