Aller au contenu
Module
Module 3 sur 5Leçon 1 sur 3~18 min

Suivre la qualité en production

Une fonctionnalité IA qui passait vos évaluations avant le lancement peut se dégrader face aux vrais usages. Cette leçon vous apprend à croiser plusieurs signaux de qualité en production, à repérer quand les demandes des utilisateurs changent et à transformer les échecs observés en nouveaux cas de test.

Mis à jour le 29 septembre 2026.

En bref

Suivre la qualité d'une IA en production consiste à croiser plusieurs signaux, car aucun ne suffit seul : retours explicites des utilisateurs, comportements implicites, évaluations automatiques sur un échantillon et revues humaines. Les demandes réelles évoluent aussi avec le temps. Pour un PM, c'est le moyen de repérer une dégradation silencieuse avant qu'elle coûte des utilisateurs.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de combiner trois signaux de qualité en production (retours utilisateurs, revue humaine échantillonnée, évaluations en ligne), de repérer une dérive des entrées et de transformer les échecs en nouveaux cas du jeu d'évaluation.

Les questions auxquelles cette leçon répond

  • Comment suivre la qualité des réponses d'une IA une fois en production ?

    En combinant les retours des utilisateurs, des signaux de comportement comme les reformulations ou abandons, des évaluations automatiques sur un échantillon et des revues humaines régulières.

  • Comment détecter une dérive des entrées sur une fonctionnalité IA ?

    En comparant régulièrement la répartition des demandes réelles (sujets, langues, longueur, types d'intention) à celle de vos données d'évaluation, pour voir apparaître des usages non couverts.

  • Comment enrichir son jeu d'évaluation avec les échecs observés en production ?

    Chaque échec significatif repéré en production devient, une fois anonymisé, un nouveau cas de test avec le résultat attendu. Le jeu d'évaluation reflète alors les vrais usages.

Thèmes abordés

  • qualité en production
  • évaluations en ligne
  • dérive des données
  • retours utilisateurs

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Mesurer qualité, coût et latence

Comment savoir, chaque semaine, si la fonctionnalité répond bien, ce qu'elle coûte et si elle est assez rapide ?

Leçons du module

  1. Suivre la qualité en production (cette leçon)
  2. Piloter le coût par requête et par résultat
  3. Maîtriser la latence perçue

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Mettre en production et monitorer une fonctionnalité IA

  • Mettre en place des signaux de qualité en production (retours utilisateurs, revue humaine échantillonnée, évaluations en ligne, dérive) et les relier au jeu d'évaluation.
  • Piloter le coût par requête et par résultat utile, et la latence perçue (budgets, alertes, cache, streaming, longueur des réponses, choix du modèle).