Module 5 sur 6Leçon 1 sur 2~16 min
Lire les métriques d'une classification
Comment lire une matrice de confusion et choisir la métrique qui reflète vraiment le coût des erreurs d'un classifieur IA. Vous évitez ainsi de valider un modèle sur un chiffre global flatteur qui masque une catégorie critique mal traitée, et vous parlez le même langage que l'équipe data.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de lire une matrice de confusion, de choisir entre exactitude, précision, rappel et F1 selon le coût des erreurs, et de repérer quand un déséquilibre des classes rend un score trompeur.
Thèmes abordés
- matrice de confusion
- précision et rappel
- score F1
- déséquilibre des classes
- métriques de classification
Dans quel module
Choisir les métriques
Quelles métriques lire, et que disent-elles de l'étape à corriger ?
Leçons du module
- Lire les métriques d'une classification (cette leçon)
- Lire les métriques d'un RAG
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Évaluer une fonctionnalité IA : jeux de test, métriques et LLM-juge
- Traduire l'objectif d'une fonctionnalité IA en critères de succès spécifiques, mesurables, atteignables et pertinents, en tenant compte de la gravité des erreurs.
- Constituer un jeu de test représentatif à partir du trafic réel, de cas limites et de cas adverses, et justifier sa composition.
- Annoter le jeu de test avec un guide, mesurer l'accord entre annotateurs, le versionner et le protéger du surajustement.
- Choisir, pour chaque critère, une méthode de notation (code, humain, modèle juge) et justifier le compromis entre coût, vitesse et fiabilité.
- Concevoir un modèle juge (grille, format, modèle différent), identifier ses biais et le calibrer contre des notes humaines.
- Choisir et interpréter les métriques adaptées à une classification et à un RAG, et en déduire l'étape à corriger.
- Définir la règle de régression, l'articulation entre évaluations hors ligne et en ligne, et des seuils de mise en production fixés avant les résultats.
Formations liées
- Créer un assistant IA pour votre produitConfirmé · ~3 h
- Concevoir une architecture RAG adaptée à son produitConfirmé · ~3 h 30 min
- Mettre en production et monitorer une fonctionnalité IAExpert · ~3 h