Aller au contenu
Module
Module 3 sur 5Leçon 3 sur 3~14 min

Maîtriser la latence perçue

Une réponse juste mais trop lente peut faire abandonner l'utilisateur. Cette leçon vous apprend à choisir les mesures de latence qui reflètent vraiment l'expérience visée, au-delà de la moyenne, puis à proposer les leviers adaptés, de l'affichage progressif au traitement en arrière-plan.

Mis à jour le 29 septembre 2026.

En bref

Pour une fonctionnalité IA, le temps de réponse se juge sur l'expérience vécue, pas sur la moyenne : on suit les centiles élevés, qui révèlent les attentes les plus pénibles, et le délai avant le premier élément affiché. Une réponse juste mais lente peut faire abandonner. Pour un PM, l'objectif est une attente perçue acceptable pour l'usage visé.

Objectif de la leçon

À la fin de cette leçon, vous serez capable de choisir les bonnes mesures de latence (temps jusqu'au premier token, temps total, percentiles) selon l'expérience visée, et de proposer les leviers adaptés (streaming, longueur, modèle, étapes, traitement différé).

Les questions auxquelles cette leçon répond

  • Quelle mesure de latence suivre pour une fonctionnalité IA ?

    Suivez les centiles élevés plutôt que la moyenne, qui masque les attentes les plus longues, et, pour les réponses générées, le délai avant l'affichage du premier mot.

  • Comment rendre une réponse d'IA plus rapide aux yeux de l'utilisateur ?

    Affichez la réponse au fil de sa génération, montrez une progression claire, raccourcissez le contexte ou choisissez un modèle plus rapide, et passez les tâches longues en arrière-plan.

Thèmes abordés

  • latence LLM
  • time to first token
  • percentiles
  • streaming
  • expérience utilisateur

Dans le glossaire

Tout le glossaire

Guide sur ce thème

Dans quel module

Mesurer qualité, coût et latence

Comment savoir, chaque semaine, si la fonctionnalité répond bien, ce qu'elle coûte et si elle est assez rapide ?

Leçons du module

  1. Suivre la qualité en production
  2. Piloter le coût par requête et par résultat
  3. Maîtriser la latence perçue (cette leçon)

Ce que vous apprendrez dans la formation

Cette leçon fait partie de la formation Mettre en production et monitorer une fonctionnalité IA