Fenêtre de contexte
On appelle fenêtre de contexte la quantité maximale de texte, comptée en tokens, qu'un modèle de langage peut prendre en compte en une seule requête : instructions, historique de conversation, documents et sa propre réponse compris. Les tokens sont des morceaux de texte ; en français, un mot en représente souvent un peu plus d'un. Ce qui dépasse la fenêtre est invisible pour le modèle le temps de cette requête.
Pourquoi c’est important pour un PM
La fenêtre de contexte conditionne de nombreux choix produit : ce dont un assistant se souvient d'une conversation, la possibilité d'analyser un long contrat en une passe, le coût et la durée de chaque requête. Une grande fenêtre ne dispense pas de sélectionner, car la qualité a tendance à baisser quand l'information utile est noyée dans une entrée très longue.
Exemple
Un assistant juridique accepte un contrat de 300 pages en une requête, mais passe à côté d'une clause enfouie page 180. L'équipe revoit la conception : le contrat est découpé par section, l'assistant récupère les sections utiles à chaque question et cite la page de chaque clause qu'il mentionne.
Points clés
- Entre deux appels, rien n'est conservé côté modèle : l'application lui transmet de nouveau le contexte nécessaire.
- Plus on envoie de tokens, plus la requête coûte cher et tarde à répondre : les longs historiques sont donc résumés ou raccourcis.
- Un détail placé au milieu d'une entrée très longue est plus souvent négligé qu'un détail placé en ouverture ou en conclusion.
- La récupération (RAG) sélectionne les passages utiles au lieu de tout envoyer.
- Les agents de code gèrent activement leur fenêtre : ils la vident, la compactent ou délèguent à des sous-agents.
Erreurs fréquentes
- Croire qu'une fenêtre géante garantit une compréhension fiable de tout ce qu'elle contient.
- Laisser une conversation s'allonger jusqu'à ce que les premières consignes soient évincées.
- Oublier que la réponse elle-même consomme une partie de la fenêtre et du budget de sortie.
Pour aller plus loin dans Module
Les formations et les leçons qui traitent cette notion :