Comprendre ce que les LLM savent faire, et ce qu’ils ratent
Décider, tâche par tâche, ce qu’on délègue à un LLM, ce qu’on vérifie et ce qu’on garde, grâce à une image juste de son fonctionnement.
Savoir, pour chaque tâche de votre poste, ce que vous pouvez confier à un assistant d'IA, ce que vous devez vérifier et ce que vous gardez. Vous apprenez comment un grand modèle de langage (LLM) produit une réponse, pourquoi il invente parfois avec aplomb, ce qu'il sait et depuis quand, ce qu'il voit d'une conversation, et ce que changent la recherche web, le raisonnement et la lecture d'images. Chaque notion se teste en cinq minutes dans l'outil que vous utilisez déjà, sur une offre gratuite. Vous terminez avec une grille « déléguer / vérifier / garder » appliquée à dix tâches réelles de votre travail.
Ce que vous saurez faire
- Expliquer comment un LLM produit une réponse (tokens, prédiction du suivant, pré-entraînement puis ajustement) et pourquoi une réponse fluide n'est pas une réponse vérifiée.
- Anticiper les hallucinations, la complaisance, la confiance mal calibrée et la variabilité d'une exécution à l'autre, et choisir la vérification adaptée à chaque cas.
- Situer ce que le modèle sait (données d'entraînement, date de coupure, couverture inégale) et ce que changent la recherche web, les documents fournis et les connecteurs.
- Expliquer la fenêtre de contexte comme mémoire de travail (limite, dégradation sur un long contexte, absence de mémoire entre conversations hors fonction dédiée) et en tirer des règles d'usage.
- Évaluer ce qu'apportent le raisonnement (thinking) et la lecture d'images ou de documents, et ce qu'ils ne garantissent pas.
- Classer les tâches de son poste en « déléguer / vérifier / garder » selon le coût d'une erreur, la facilité de vérification, les propriétés du modèle en jeu et la valeur de faire soi-même.
Prérequis
- Avoir déjà posé quelques questions à un assistant conversationnel (Claude, ChatGPT, Gemini, Vibe de Mistral ou Copilot) ; une offre gratuite suffit pour tous les exercices.
- Aucune compétence technique ni mathématique n'est demandée.
- Ce cours explique le fonctionnement et les limites des modèles. Pour rédiger de bonnes demandes, suivez ensuite « Prompter comme un PM : déléguer, décrire, vérifier » ; pour choisir vos outils, « Choisir et utiliser ses outils d'IA au quotidien » ; pour savoir quelles données partager, « Utiliser l'IA au travail sans exposer ses données ni son entreprise ».
Programme
Que vais-je savoir faire à la fin de ce cours, et dans quel ordre ?
- Présentation du cours3 étapes
Objectif · À la fin de cette présentation, vous saurez ce que vous allez produire (une grille « déléguer / vérifier / garder » appliquée à dix tâches de votre poste), avec quel fil rouge et par quels quatre modules le cours vous y conduit.
D'où vient une réponse d'IA, et pourquoi peut-elle être fausse tout en sonnant juste ?
Objectif · À la fin de cette leçon, vous serez capable d'expliquer comment un LLM produit une réponse (tokens, prédiction du suivant, pré-entraînement puis ajustement) et d'en déduire, pour une tâche donnée, si le risque principal est une invention ou une simple maladresse de forme.
Objectif · À la fin de cette leçon, vous serez capable de repérer dans une réponse d'IA les passages exposés aux hallucinations, de reconnaître un comportement complaisant, de tenir compte de la variabilité d'une exécution à l'autre, et de choisir pour chaque cas une vérification qui ne repose pas sur l'avis du modèle lui-même.
Qu'est-ce que le modèle connaît de lui-même, que lui apportent les outils, et que retient-il de notre conversation ?
Objectif · À la fin de cette leçon, vous serez capable de dire, pour une question donnée, si le modèle peut y répondre de mémoire, s'il faut activer une recherche web ou s'il faut lui fournir un document, et de choisir la vérification qui correspond.
Objectif · À la fin de cette leçon, vous serez capable d'expliquer ce que le modèle voit d'une conversation, pourquoi il néglige parfois une consigne ou un passage d'un long document, et d'organiser votre travail (conversations, documents, résumés) pour garder des réponses fiables.
Que change un modèle qui « réfléchit » avant de répondre ou qui lit des images, et qu'est-ce que cela ne change pas ?
Objectif · À la fin de cette leçon, vous serez capable de décider quand activer le mode raisonnement d'un assistant, et de repérer dans la lecture d'une image, d'une capture ou d'un PDF les éléments qui demandent une vérification.
Pour chacune de mes tâches, qu'est-ce que je confie à l'IA, qu'est-ce que je vérifie et qu'est-ce que je garde ?
Objectif · À la fin de cette leçon, vous serez capable de classer une tâche en déléguer, vérifier ou garder à partir de quatre questions (coût d'une erreur, vérifiabilité, propriété du modèle en jeu, valeur de faire soi-même), et de nommer la vérification prévue pour chaque tâche déléguée avec contrôle.
Objectif · À la fin de cette leçon, vous aurez produit votre grille « déléguer / vérifier / garder » sur dix tâches réelles de votre poste, testé au moins trois de ces tâches dans votre outil, et planifié son application sur 7 et 30 jours.