Suivre la qualité en production
Une fonctionnalité IA qui passait vos évaluations avant le lancement peut se dégrader face aux vrais usages. Cette leçon vous apprend à croiser plusieurs signaux de qualité en production, à repérer quand les demandes des utilisateurs changent et à transformer les échecs observés en nouveaux cas de test.
Mis à jour le 29 septembre 2026.
En bref
Suivre la qualité d'une IA en production consiste à croiser plusieurs signaux, car aucun ne suffit seul : retours explicites des utilisateurs, comportements implicites, évaluations automatiques sur un échantillon et revues humaines. Les demandes réelles évoluent aussi avec le temps. Pour un PM, c'est le moyen de repérer une dégradation silencieuse avant qu'elle coûte des utilisateurs.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de combiner trois signaux de qualité en production (retours utilisateurs, revue humaine échantillonnée, évaluations en ligne), de repérer une dérive des entrées et de transformer les échecs en nouveaux cas du jeu d'évaluation.
Les questions auxquelles cette leçon répond
Comment suivre la qualité des réponses d'une IA une fois en production ?
En combinant les retours des utilisateurs, des signaux de comportement comme les reformulations ou abandons, des évaluations automatiques sur un échantillon et des revues humaines régulières.
Comment détecter une dérive des entrées sur une fonctionnalité IA ?
En comparant régulièrement la répartition des demandes réelles (sujets, langues, longueur, types d'intention) à celle de vos données d'évaluation, pour voir apparaître des usages non couverts.
Comment enrichir son jeu d'évaluation avec les échecs observés en production ?
Chaque échec significatif repéré en production devient, une fois anonymisé, un nouveau cas de test avec le résultat attendu. Le jeu d'évaluation reflète alors les vrais usages.
Thèmes abordés
- qualité en production
- évaluations en ligne
- dérive des données
- retours utilisateurs
Dans le glossaire
Guide sur ce thème
- Évaluer une fonctionnalité d’IA (evals)
Jeu de cas, critères, LLM-juge, seuils de mise en production et suivi, avec un plan d’evals.
Dans quel module
Mesurer qualité, coût et latence
Comment savoir, chaque semaine, si la fonctionnalité répond bien, ce qu'elle coûte et si elle est assez rapide ?
Leçons du module
- Suivre la qualité en production (cette leçon)
- Piloter le coût par requête et par résultat
- Maîtriser la latence perçue
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Mettre en production et monitorer une fonctionnalité IA
- Mettre en place des signaux de qualité en production (retours utilisateurs, revue humaine échantillonnée, évaluations en ligne, dérive) et les relier au jeu d'évaluation.
- Piloter le coût par requête et par résultat utile, et la latence perçue (budgets, alertes, cache, streaming, longueur des réponses, choix du modèle).
Formations liées
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
3 h
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Concevoir des agents et du tool calling fiables
3 h 30 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h