Maîtriser la latence perçue
Une réponse juste mais trop lente peut faire abandonner l'utilisateur. Cette leçon vous apprend à choisir les mesures de latence qui reflètent vraiment l'expérience visée, au-delà de la moyenne, puis à proposer les leviers adaptés, de l'affichage progressif au traitement en arrière-plan.
Mis à jour le 29 septembre 2026.
En bref
Pour une fonctionnalité IA, le temps de réponse se juge sur l'expérience vécue, pas sur la moyenne : on suit les centiles élevés, qui révèlent les attentes les plus pénibles, et le délai avant le premier élément affiché. Une réponse juste mais lente peut faire abandonner. Pour un PM, l'objectif est une attente perçue acceptable pour l'usage visé.
Objectif de la leçon
À la fin de cette leçon, vous serez capable de choisir les bonnes mesures de latence (temps jusqu'au premier token, temps total, percentiles) selon l'expérience visée, et de proposer les leviers adaptés (streaming, longueur, modèle, étapes, traitement différé).
Les questions auxquelles cette leçon répond
Quelle mesure de latence suivre pour une fonctionnalité IA ?
Suivez les centiles élevés plutôt que la moyenne, qui masque les attentes les plus longues, et, pour les réponses générées, le délai avant l'affichage du premier mot.
Comment rendre une réponse d'IA plus rapide aux yeux de l'utilisateur ?
Affichez la réponse au fil de sa génération, montrez une progression claire, raccourcissez le contexte ou choisissez un modèle plus rapide, et passez les tâches longues en arrière-plan.
Thèmes abordés
- latence LLM
- time to first token
- percentiles
- streaming
- expérience utilisateur
Dans le glossaire
Guide sur ce thème
- Évaluer une fonctionnalité d’IA (evals)
Jeu de cas, critères, LLM-juge, seuils de mise en production et suivi, avec un plan d’evals.
Dans quel module
Mesurer qualité, coût et latence
Comment savoir, chaque semaine, si la fonctionnalité répond bien, ce qu'elle coûte et si elle est assez rapide ?
Leçons du module
- Suivre la qualité en production
- Piloter le coût par requête et par résultat
- Maîtriser la latence perçue (cette leçon)
Ce que vous apprendrez dans la formation
Cette leçon fait partie de la formation Mettre en production et monitorer une fonctionnalité IA
Formations liées
- Tech pour PMTout publicAucun pré-requis : accessible à toutes et tous.
Expliquer comment fonctionne un produit web, du navigateur au serveur
2 h 30 min
- Tech pour PMJuniorQuelques bases utiles : notions de contexte ou du domaine.
Lire et challenger une architecture technique
3 h
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Obtenir des sorties IA fiables et exploitables par le produit (JSON, schémas, appels de fonction)
2 h 30 min