Comment fonctionnent les grands modèles linguistiques · Cartes mentales

Comment fonctionnent les grands modèles linguistiques · Cartes mentales

Le canevas MindMap interactif de cette explication : chaque couloir, ligne et flèche ci-dessus appartient à un véritable diagramme QueryChart que vous pouvez ouvrir et modifier.

Comment lire cette carte mentale

• Commencez par le sujet central, puis suivez une branche colorée pour explorer ses idées.
• Les courbes montrent les liens; les flèches indiquent les relations où le sens compte.

Training

Cette branche rassemble “Pre-training is a single prediction task at massive scale: given a sentence with a word hidden, predict it. From that one task the model learns grammar, facts and reasoning patterns.”, “The model learns statistical patterns between words”, “Fine-tuning continues training on a smaller, curated dataset — customer support, code, a company's docs — to change the model's behaviour toward the desired style.”.

Tokenize

Cette branche rassemble “The prompt is split into tokens”, “Tokens become numerical embeddings”.

Attention

Cette branche rassemble “Attention is what lets “bank” be read as a river bank or a money bank depending on the surrounding words — the whole sentence influences every token's meaning.”.

Generate

Cette branche rassemble “The model predicts the most likely next token”, “The model writes one token at a time, feeding each output back in as new input. A stop condition (end-of-text token, length limit) ends the loop.”.

Output

Cette branche rassemble “Tokens are decoded back into readable text”, “The response is returned to the user”.

Liens entre les branches

Un LLM est un prédicteur du prochain jeton, pas un système de récupération de réponses : chaque réponse est une chaîne de prédictions à un seul jeton.

La pré-formation fournit la capacité ; l'affiner et l'inciter à l'orienter vers une tâche.

Les jetons, et non les caractères ou les mots entiers, sont les unités dans lesquelles le modèle réfléchit.

L'attention permet au contexte de remodeler le sens, ce qui fait que les mêmes mots signifient des choses différentes dans des phrases différentes.

La génération est récursive : chaque jeton de sortie devient une nouvelle entrée, c'est pourquoi les réponses peuvent être longues, cohérentes et fausses avec la même confiance.

Relations et enseignements clés

• Un LLM est un prédicteur du prochain jeton, pas un système de récupération de réponses : chaque réponse est une chaîne de prédictions à un seul jeton.
• La pré-formation fournit la capacité ; l'affiner et l'inciter à l'orienter vers une tâche.
• Les jetons, et non les caractères ou les mots entiers, sont les unités dans lesquelles le modèle réfléchit.
• L'attention permet au contexte de remodeler le sens, ce qui fait que les mêmes mots signifient des choses différentes dans des phrases différentes.
• La génération est récursive : chaque jeton de sortie devient une nouvelle entrée, c'est pourquoi les réponses peuvent être longues, cohérentes et fausses avec la même confiance.

Quand utiliser ce visuel

• Expliquer à un public non technique ce que fait réellement un LLM et pourquoi il peut être faux en toute confiance.
• Enseigner à une équipe produit la différence entre la formation, le réglage fin et l'incitation afin qu'elle puisse raisonner sur le comportement du modèle.
• Ancrer une discussion sur les limites, le coût et la latence des jetons dans la mécanique jeton par jeton.

Comment cela fonctionne

1. Adapter le sujet central

   Renommez le sujet pour votre projet ou votre cours.

2. Développer les branches

   Modifiez les idées et ajoutez des exemples ou des notes.

3. Relier les idées

   Reliez les branches; utilisez une flèche lorsque le sens est important.

Questions fréquentes

Qu’est-ce qu’un grand modèle de langage ?

Un grand modèle linguistique (LLM) est un réseau neuronal entraîné pour prédire le mot suivant dans une séquence, à grande échelle. À partir de ce seul objectif, il apprend suffisamment bien la grammaire, les faits, le raisonnement et le style pour générer un texte fluide. Le nom décrit le mécanisme : il est volumineux (des milliards de paramètres), formé au langage et fondamentalement un prédicteur du prochain jeton.

Pourquoi un LLM génère-t-il du texte un jeton à la fois ?

Parce que sa seule opération consiste à prédire le prochain jeton le plus probable compte tenu de tout ce qui s'est passé jusqu'à présent. Après chaque prédiction, ce jeton est ajouté à l'entrée et le processus se répète : le message « Continuer à générer ? » boucle dans le visuel. Cette conception récursive est ce qui permet au modèle de produire un texte arbitrairement long, et aussi la raison pour laquelle la sortie peut dériver ou se répéter : chaque étape ne voit que les jetons qu'elle a déjà générés.

Quelle est la différence entre la pré-formation et la mise au point ?

La pré-formation est la phase initiale massive : le modèle apprend les modèles de langage généraux à partir de téraoctets de texte, ce qui lui donne sa capacité brute. Le réglage fin est une phase ultérieure plus petite sur les données organisées pour une tâche ou un style spécifique, qui modifie le comportement du modèle pré-entraîné. La plupart des utilisateurs de LLM n'effectuent jamais de réglages précis : ils proposent des invites qui orientent le même modèle au moment de l'inférence.

Pourquoi les LLM donnent-ils parfois de mauvaises réponses avec assurance ?

Parce que le modèle optimise le texte probable, pas la vérité. Il n'a pas de base de données interne ni de vérificateur d'exactitude ; il produit la continuation qui correspond à ses modèles de formation. Lorsque le modèle semble plausible, il l’énonce avec assurance. C'est pourquoi le visuel décrit le modèle comme un prédicteur plutôt que comme un récupérateur : la mise en garde en matière d'honnêteté est une propriété du mécanisme, et non un bug qui sera corrigé par la seule mise à l'échelle.

Modifier cette carte mentale dans QueryChart

Ouvrez cette carte mentale sur un espace modifiable. Déplacez les idées et ajoutez des branches et des liens.

Modifier cette carte mentale dans QueryChart