Un LLM prédit la suite d'un texte, et c'est ce qui explique presque tout
La plupart des surprises que réserve un assistant d'IA s'expliquent par la façon dont il fabrique ses réponses. Cette leçon vous aide à comprendre ce mécanisme sans jargon inutile, puis à anticiper, pour une tâche de votre poste, si le risque principal est une erreur de fond ou un simple défaut de forme.
Mis à jour le 29 septembre 2026.
En bref
Un LLM produit sa réponse en prédisant, morceau de texte après morceau de texte, la suite la plus probable au vu de ses données d'entraînement. Il est d'abord entraîné sur d'immenses volumes de textes, puis ajusté pour suivre des consignes. Ce mécanisme explique pourquoi il écrit bien mais peut affirmer des choses fausses.
Objectif de la leçon
À la fin de cette leçon, vous serez capable d'expliquer comment un LLM produit une réponse (tokens, prédiction du suivant, pré-entraînement puis ajustement) et d'en déduire, pour une tâche donnée, si le risque principal est une invention ou une simple maladresse de forme.
Les questions auxquelles cette leçon répond
Comment un LLM comme ChatGPT ou Claude fabrique-t-il une réponse ?
Il découpe votre message en tokens, puis génère sa réponse un token à la fois en choisissant à chaque étape une suite probable. Aucune vérification des faits n'intervient, sauf si un outil externe est branché.
Qu'est-ce qu'un token et pourquoi cela compte-t-il pour un utilisateur d'IA ?
Un token est un fragment de texte, souvent un morceau de mot, que le modèle traite comme unité. Il détermine la longueur qu'un modèle peut lire, le coût d'usage et explique certaines erreurs sur l'orthographe ou le calcul.
À quoi servent le pré-entraînement et l'ajustement d'un modèle de langage ?
Le pré-entraînement apprend au modèle la langue et une large culture à partir de textes. L'ajustement, notamment par retours humains, lui apprend ensuite à suivre des consignes et à répondre de façon utile.
Thèmes abordés
- fonctionnement d'un LLM
- tokens
- pré-entraînement
- RLHF
- IA générative expliquée
Dans le glossaire
Guide sur ce thème
- RAG ou fine-tuning : comment choisir
Ce que règle chaque approche, les critères de choix et comment évaluer, avec une grille de décision.
Dans quel module
Comment un LLM produit une réponse
D'où vient une réponse d'IA, et pourquoi peut-elle être fausse tout en sonnant juste ?
Leçons du module
- Un LLM prédit la suite d'un texte, et c'est ce qui explique presque tout (cette leçon)
- Hallucinations, complaisance, variabilité, les trois pièges à anticiper
Ce que vous apprendrez dans ce module
Cette leçon fait partie de la formation Comprendre ce que les LLM savent faire, et ce qu’ils ratent
- Expliquer comment un LLM produit une réponse (tokens, prédiction du suivant, pré-entraînement puis ajustement) et pourquoi une réponse fluide n'est pas une réponse vérifiée.
- Anticiper les hallucinations, la complaisance, la confiance mal calibrée et la variabilité d'une exécution à l'autre, et choisir la vérification adaptée à chaque cas.
Formations liées
- IA & FondamentauxTout publicAucun pré-requis : accessible à toutes et tous.
Choisir et utiliser ses outils d'IA au quotidien
1 h 40 min
- IA & FondamentauxJuniorQuelques bases utiles : notions de contexte ou du domaine.
Prompter comme un PM : déléguer, décrire, vérifier
2 h 45 min
- IA & ProduitConfirméPratique régulière : vous utilisez déjà l’outil ou êtes confronté à la thématique.
Concevoir une architecture RAG adaptée à son produit
3 h 30 min