Module 1
Comprendre les modèles de langage
3 leçons · 0 min · quiz 6 questions (seuil 5/6) · lab 10 étapes
Leçons
- Leçon 1 — Comment un modèle de langage prédit le texte0 min
- Leçon 2 — Tokens, fenêtre de contexte et coût réel0 min
- Leçon 3 — Ce qu'un modèle sait, ignore et invente0 min
Lire l'aperçu gratuit : leçon 1 — Comment un modèle de langage prédit le texte
Durée : 45 min
Un modèle de langage (Large Language Model, LLM) est un programme statistique entraîné sur d'immenses corpus de textes pour accomplir une tâche élémentaire : prédire le token suivant le plus probable. Un token est un morceau de texte — un mot, une partie de mot ou un signe de ponctuation. « prompting » se découpe souvent en deux ou trois tokens, « anti » en un seul. À chaque étape, le modèle calcule une distribution de probabilité sur les dizaines de milliers de tokens de son vocabulaire, en sélectionne un, puis recommence avec le texte enrichi. Rien dans ce mécanisme ne ressemble à une recherche dans une base de données de faits.
Il faut donc distinguer deux choses que le grand public confond en permanence : la fluidité et la vérité. Un modèle peut produire une phrase parfaitement construite, stylistiquement irréprochable et totalement fausse. Sa compétence consiste à compléter un texte plausible, pas à certifier un fait. C'est exactement pourquoi la qualité de votre consigne — rôle, contexte, tâche, format — pèse davantage sur le résultat que la « magie » prêtée au modèle.
Le mécanisme d'attention, introduit par l'architecture transformer (2017), permet au modèle de pondérer chaque token en fonction de tous les autres tokens présents dans la fenêtre de contexte. C'est ce qui rend possible le suivi d'une consigne longue et la reprise d'informations éloignées. Mais l'attention se dilue : au-delà de plusieurs milliers de tokens, les éléments situés au milieu d'un contexte très long sont souvent moins bien exploités que ceux du début et de la fin. Placez donc vos instructions critiques au début, et rappelez la contrainte de format à la fin.
- Un modèle de langage ne consulte pas Internet par défaut : sans outil de recherche activé, il répond avec ses connaissances internes, figées à sa date d'entraînement.
- Un modèle ne « comprend » pas votre intention comme un collègue : il complète le texte que vous écrivez. Une consigne ambiguë produit une réponse ambiguë, avec la même assurance.
- Un modèle ne calcule pas mentalement : pour de l'arithmétique ou du décompte précis, il faut décomposer l'opération ou fournir un outil.
from openai import OpenAI
client = OpenAI()
# temperature=0 : sortie aussi stable que possible, adaptee a l'extraction
reponse = client.chat.completions.create(
model="gpt-4.1-mini",
temperature=0,
messages=[
{"role": "system", "content": "Tu es un assistant qui reformule en francais clair."},
{"role": "user", "content": "Reformule ce paragraphe pour un eleve de 5e : 'La photosynthese convertit l'energie lumineuse en energie chimique.'"},
],
)
print(reponse.choices[0].message.content)
print("tokens entree :", reponse.usage.prompt_tokens)
print("tokens sortie :", reponse.usage.completion_tokens)
curl https://api.openai.com/v1/chat/completions \
-H "Authorization: Bearer $OPENAI_API_KEY" \
-H "Content-Type: application/json" \
-d '{"model": "gpt-4.1-mini", "temperature": 0, "messages": [{"role": "user", "content": "Explique le prompting en trois phrases."}]}'
Exercice guidé
La suite (leçons 2 à 3, quiz, lab et livrable) est accessible après une inscription gratuite.