Aller au contenu
Module
Tech

Latence : définition et impact sur l'expérience

La latence est le délai entre le moment où une demande est émise et celui où la réponse commence à arriver ou est complète. Elle s'accumule tout au long du parcours : réseau, serveur, base de données, services tiers et, pour l'IA, génération du modèle. On la mesure en millisecondes ou en secondes, et on l'exprime souvent en percentiles, comme le p95, plutôt qu'en moyenne.

Définition rédigée par Alex Dionisio, Senior Product Manager. Mis à jour le 13 novembre 2026.

Pourquoi c’est important pour un PM

La rapidité perçue fait partie de la qualité d'un produit : une recherche lente ou une réponse d'assistant qui tarde font abandonner. La moyenne masque les cas les plus lents, qui sont justement ceux dont les utilisateurs se souviennent. Le PM fixe des objectifs de latence réalistes par parcours, et choisit les leviers d'expérience comme l'affichage progressif quand le délai ne peut pas être réduit.

Exemple

Un assistant intégré à un logiciel juridique répond en moyenne en quatre secondes, mais un utilisateur sur vingt attend plus de quinze secondes. L'équipe affiche la réponse au fur et à mesure de sa génération, met en cache les documents les plus consultés et réserve le modèle le plus lourd aux questions complexes. Le p95 baisse nettement.

Points clés

  • Les percentiles (p50, p95, p99) décrivent mieux l'expérience que la moyenne.
  • Pour un LLM, le temps avant le premier token pèse beaucoup sur la rapidité perçue.
  • La latence totale est la somme des étapes : il faut savoir laquelle domine.
  • Cache, traitement en arrière-plan et affichage progressif sont des leviers courants.

Erreurs fréquentes

  • Suivre uniquement la latence moyenne.
  • Mesurer depuis le réseau de l'entreprise plutôt que dans les conditions réelles des utilisateurs.
  • Optimiser une étape qui ne représente qu'une petite part du délai total.

Pour aller plus loin dans Module

Les formations et les leçons qui traitent cette notion :

Guides sur ce thème