Pourquoi le ressenti ne suffit pas
Pourquoi une démo réussie et quelques essais internes ne prouvent pas qu'une fonctionnalité IA est prête à sortir. Vous y trouvez les arguments pour obtenir du temps d'évaluation face à une équipe pressée de lancer, et pour expliquer ce qu'une évaluation rejouable protège quand le prompt ou le modèle évolue.
Mis à jour le 29 septembre 2026.
En bref
L'évaluation au ressenti consiste à se faire un avis sur une fonctionnalité IA à partir d'une démo réussie ou d'une poignée de tests. Elle trompe, car un modèle ne répond pas toujours pareil et les cas testés à la main sont rarement représentatifs. Une évaluation rejouable mesure la qualité sur des cas réels et détecte les régressions quand le prompt ou le modèle change.
Objectif de la leçon
À la fin de cette leçon, vous serez capable d'expliquer pourquoi quelques essais ne prouvent pas la qualité d'une fonctionnalité IA, et de décrire ce qu'apporte une évaluation rejouable à chaque changement.
Les questions auxquelles cette leçon répond
Pourquoi une démo réussie ne suffit pas à valider une fonctionnalité IA ?
Parce qu'une démo montre quelques cas choisis, souvent favorables. Elle ne dit rien des demandes rares, des tentatives de détournement ni de la stabilité des réponses.
Pourquoi l'évaluation au ressenti d'une fonctionnalité IA est-elle risquée ?
Elle repose sur quelques essais non représentatifs et ne se rejoue pas. Une régression introduite par un nouveau prompt ou modèle peut alors passer inaperçue jusqu'aux utilisateurs.
Thèmes abordés
- evals LLM
- évaluation au ressenti
- non-déterminisme des LLM
- régression de prompt
- tester une fonctionnalité IA
Dans le glossaire
Guide sur ce thème
- Évaluer une fonctionnalité d’IA (evals)
Jeu de cas, critères, LLM-juge, seuils de mise en production et suivi, avec un plan d’evals.
Dans quel module
Pourquoi évaluer, et quoi mesurer
Qu'est-ce qui prouve qu'une fonctionnalité IA marche, et selon quels critères ?
Leçons du module
- Pourquoi le ressenti ne suffit pas (cette leçon)
- Définir des critères de succès mesurables
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
- Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
Formations liées
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Concevoir des agents et du tool calling fiables
3 h 30 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Créer un assistant IA pour votre produit
3 h
- IA & ProduitExpertNiveau avancé : pour approfondir et aller plus loin.
Mettre en production et monitorer une fonctionnalité IA
3 h