Aller au contenu
Module
Module 2 sur 6Leçon 1 sur 2~14 min

Pourquoi le ressenti ne suffit pas

Pourquoi une démo réussie et quelques essais internes ne prouvent pas qu'une fonctionnalité IA est prête à sortir. Vous y trouvez les arguments pour obtenir du temps d'évaluation face à une équipe pressée de lancer, et pour expliquer ce qu'une évaluation rejouable protège quand le prompt ou le modèle évolue.

Mis à jour le 29 septembre 2026.

En bref

L'évaluation au ressenti consiste à se faire un avis sur une fonctionnalité IA à partir d'une démo réussie ou d'une poignée de tests. Elle trompe, car un modèle ne répond pas toujours pareil et les cas testés à la main sont rarement représentatifs. Une évaluation rejouable mesure la qualité sur des cas réels et détecte les régressions quand le prompt ou le modèle change.

Objectif de la leçon

À la fin de cette leçon, vous serez capable d'expliquer pourquoi quelques essais ne prouvent pas la qualité d'une fonctionnalité IA, et de décrire ce qu'apporte une évaluation rejouable à chaque changement.

Les questions auxquelles cette leçon répond

  • Pourquoi une démo réussie ne suffit pas à valider une fonctionnalité IA ?

    Parce qu'une démo montre quelques cas choisis, souvent favorables. Elle ne dit rien des demandes rares, des tentatives de détournement ni de la stabilité des réponses.

  • Pourquoi l'évaluation au ressenti d'une fonctionnalité IA est-elle risquée ?

    Elle repose sur quelques essais non représentatifs et ne se rejoue pas. Une régression introduite par un nouveau prompt ou modèle peut alors passer inaperçue jusqu'aux utilisateurs.

Thèmes abordés

  • evals LLM
  • évaluation au ressenti
  • non-déterminisme des LLM
  • régression de prompt
  • tester une fonctionnalité IA

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Pourquoi évaluer, et quoi mesurer

Qu'est-ce qui prouve qu'une fonctionnalité IA marche, et selon quels critères ?

Leçons du module

  1. Pourquoi le ressenti ne suffit pas (cette leçon)
  2. Définir des critères de succès mesurables

Ce que vous apprendrez dans ce module

Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge

  • Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.