Aller au contenu
Module
Module 6 sur 7Leçon 2 sur 2~19 min

Évaluer un agent sur des tâches, des essais et des trajectoires

Un agent ne répond pas deux fois de la même façon et peut atteindre le bon résultat par un chemin dangereux, ce qui rend les tests habituels insuffisants. Cette leçon vous apprend à concevoir l'évaluation d'un agent à partir de cas réels, avec des critères et des seuils posés avant de mesurer.

Mis à jour le 29 septembre 2026.

En bref

Évaluer un agent consiste à le faire tourner plusieurs fois sur des tâches tirées de cas réels, puis à vérifier l'état final et le chemin suivi. Comme il ne répond jamais deux fois pareil, on mesure sa fiabilité sur plusieurs essais. Les seuils de réussite se fixent avant de mesurer, pour décider objectivement s'il est prêt.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de concevoir l'évaluation d'un agent : tâches tirées de cas réels, correcteurs sur l'état final, invariants de trajectoire, essais multiples, métriques pass@k et pass^k, et seuils fixés avant la mesure.

Les questions auxquelles cette leçon répond

  • Comment évaluer un agent IA qui ne répond jamais deux fois pareil ?

    En lançant plusieurs essais par tâche et en mesurant la fréquence de réussite plutôt qu'un résultat unique, avec des critères vérifiables sur l'état final.

  • Quelle différence entre pass@k et pass^k pour évaluer un agent ?

    pass@k compte une tâche comme réussie si l'un des k essais aboutit, alors que pass^k exige que chacun d'eux aboutisse. Le second reflète mieux la fiabilité attendue par un utilisateur.

  • Pourquoi évaluer la trajectoire d'un agent et pas seulement son résultat ?

    Parce qu'un agent peut atteindre le bon résultat par un chemin dangereux ou coûteux, par exemple en supprimant des données. Vérifier la trajectoire détecte ces risques.

Thèmes abordés

  • évaluation d'agent
  • evals
  • pass@k
  • tests d'agents IA
  • seuils de qualité

Dans le glossaire

Tout le glossaire

Guides sur ce thème

Dans quel module

Observer et évaluer un agent

Comment reconstituer ce qu'a fait l'agent, et comment savoir qu'il est fiable ?

Leçons du module

  1. Spécifier la trace d'un run et ses métriques
  2. Évaluer un agent sur des tâches, des essais et des trajectoires (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Concevoir des agents et du tool calling fiables