Quatre choses à régler avant d'ouvrir un agent IA à vos clients
Ce qui décide de la qualité d'un agent : ce qu'il dit quand il ne sait pas, ce sur quoi il s'appuie, à quel moment il passe la main, et où partent les questions qu'on lui pose.
Dans cet article4 sections
Une réponse fausse dite avec assurance coûte plus cher que pas de réponse
Un modèle de langage ne fait pas la différence entre savoir et deviner : quand l'information lui manque, il produit quand même quelque chose de plausible, bien écrit, et faux. Il a même tendance à être plus affirmatif quand il se trompe.
Le client, lui, ne fait pas la part des choses : il retient qu'on lui a donné une mauvaise information, et il en veut à l'entreprise, pas à la machine.
Le garde-fou n'est pas un réglage, c'est une règle de construction : l'agent répond à partir de vos documents et de rien d'autre, et chaque réponse arrive avec le passage dont elle vient. Ce qui n'est pas dans vos textes ne sort pas de sa bouche.
Un agent ne vaut jamais mieux que les documents qu'on lui donne
Dans la plupart des entreprises, l'information existe en trois versions : celle du fichier partagé, celle de l'ancien intranet, et celle que quelqu'un a dans la tête.
Tant que ces trois-là se contredisent, aucun agent ne peut répondre juste : il choisira, et personne ne saura pourquoi.
Le travail de mise à plat que tout le monde repousse devient donc la condition du projet. C'est la mauvaise nouvelle. La bonne, c'est qu'il sert à autre chose qu'à l'agent.
Le bon réflexe n'est pas de tout savoir, c'est de savoir passer la main
On juge souvent un agent sur ce qu'il traite tout seul, comme si chaque question renvoyée à un humain était un échec. C'est l'inverse.
Les utilisateurs supportent très bien qu'on leur dise « je ne sais pas, je vous passe quelqu'un ». Ce qu'ils ne supportent pas, c'est de tourner en rond dix minutes avec quelque chose qui refuse de lâcher prise.
Corollaire sur l'ordre de déploiement : commencer à l'intérieur, sur les questions que vos propres équipes posent dix fois par semaine. Ça met les documents à plat et ça montre comment l'agent se comporte quand il se trompe, pendant que l'enjeu est faible.
La question qu'on tape dans un agent, c'est une donnée qui part quelque part
Vos collaborateurs collent déjà des extraits de documents dans des outils grand public, sans mauvaise intention et sans que personne ne l'ait décidé.
En Suisse, la loi n'oblige pas à héberger ses données ici : elle oblige à savoir ce qu'on confie, à qui, et à pouvoir le prouver. Beaucoup d'entreprises découvrent la question le jour où un client la pose par écrit.
Ce qu'il faut pouvoir sortir ce jour-là tient en quatre lignes :
- Quel modèle, et hébergé où
- Ce qui lui est envoyé
- Ce qui est conservé, et combien de temps
- Qui y a accès
Aucun de ces quatre points ne porte sur le modèle choisi, et c'est ce qui surprend le plus. Ce qui fait un bon agent, c'est ce qu'on lui donne, ce qu'on lui interdit, et la façon dont il s'arrête : trois décisions qui se prennent avant la première ligne de code.
Ce sujet touche à notre expertise Agent & Chat IA.
On commence par une discussion, pas par un devis.
Voir l'expertiseÀ lire ensuite
