So funktionieren große Sprachmodelle · Mindmaps

So funktionieren große Sprachmodelle · Mindmaps

Die interaktive MindMap-Zeichenfläche zu dieser Erklärung — jede Bahn, jede Zeile und jeder Pfeil oben gehört zu einem echten QueryChart-Diagramm, das Sie öffnen und bearbeiten können.

So lesen Sie diese Mindmap

• Beginnen Sie beim Thema in der Mitte und folgen Sie einem farbigen Zweig zu den zugehörigen Ideen.
• Geschwungene Linien zeigen Beziehungen; Pfeile stehen nur dort, wo die Richtung wichtig ist.

Training

Dieser Zweig verbindet “Pre-training is a single prediction task at massive scale: given a sentence with a word hidden, predict it. From that one task the model learns grammar, facts and reasoning patterns.”, “The model learns statistical patterns between words”, “Fine-tuning continues training on a smaller, curated dataset — customer support, code, a company's docs — to change the model's behaviour toward the desired style.”.

Tokenize

Dieser Zweig verbindet “The prompt is split into tokens”, “Tokens become numerical embeddings”.

Attention

Dieser Zweig verbindet “Attention is what lets “bank” be read as a river bank or a money bank depending on the surrounding words — the whole sentence influences every token's meaning.”.

Generate

Dieser Zweig verbindet “The model predicts the most likely next token”, “The model writes one token at a time, feeding each output back in as new input. A stop condition (end-of-text token, length limit) ends the loop.”.

Output

Dieser Zweig verbindet “Tokens are decoded back into readable text”, “The response is returned to the user”.

Verbindungen zwischen den Zweigen

Ein LLM sagt das nächste Token voraus, es ruft keine Antworten ab: jede Antwort ist eine Kette einzelner Token-Vorhersagen.

Das Vortraining liefert die Fähigkeit; Fine-Tuning und Prompting richten sie auf eine Aufgabe aus.

Die Einheiten, in denen das Modell denkt, sind Token, nicht Zeichen und nicht ganze Wörter.

Die Attention lässt den Kontext die Bedeutung umformen, und deshalb heißen dieselben Wörter in verschiedenen Sätzen Verschiedenes.

Die Erzeugung ist rekursiv: Jedes ausgegebene Token wird neue Eingabe, und deshalb können Antworten lang, stimmig und mit derselben Selbstsicherheit falsch sein.

Wichtige Zusammenhänge und Erkenntnisse

• Ein LLM sagt das nächste Token voraus, es ruft keine Antworten ab: jede Antwort ist eine Kette einzelner Token-Vorhersagen.
• Das Vortraining liefert die Fähigkeit; Fine-Tuning und Prompting richten sie auf eine Aufgabe aus.
• Die Einheiten, in denen das Modell denkt, sind Token, nicht Zeichen und nicht ganze Wörter.
• Die Attention lässt den Kontext die Bedeutung umformen, und deshalb heißen dieselben Wörter in verschiedenen Sätzen Verschiedenes.
• Die Erzeugung ist rekursiv: Jedes ausgegebene Token wird neue Eingabe, und deshalb können Antworten lang, stimmig und mit derselben Selbstsicherheit falsch sein.

Wann Sie diese Darstellung nutzen

• Einem nichttechnischen Publikum erklären, was ein LLM tatsächlich tut und warum es selbstsicher falsch liegen kann.
• Einem Produktteam den Unterschied zwischen Training, Fine-Tuning und Prompting vermitteln, damit es das Verhalten des Modells einschätzen kann.
• Ein Gespräch über Token-Grenzen, Kosten und Latenz an der Mechanik Token für Token ausrichten.

So funktioniert es

1. Mittleres Thema anpassen

   Benennen Sie das Thema für Ihr Projekt oder Ihren Unterricht um.

2. Zweige ausbauen

   Bearbeiten Sie Ideen und ergänzen Sie Beispiele oder Notizen.

3. Ideen verbinden

   Zeichnen Sie Verbindungen zwischen Zweigen; Pfeile zeigen eine wichtige Richtung an.

Häufig gestellte Fragen

Was ist ein großes Sprachmodell?

Ein großes Sprachmodell (LLM) ist ein neuronales Netz, das darauf trainiert ist, das nächste Wort in einer Folge vorherzusagen, in gewaltigem Maßstab. Aus diesem einen Ziel lernt es Grammatik, Fakten, Schlussfolgern und Stil gut genug, um flüssigen Text zu erzeugen. Der Name beschreibt den Mechanismus: Es ist groß (Milliarden von Parametern), auf Sprache trainiert und im Kern ein Vorhersager des nächsten Tokens.

Warum erzeugt ein LLM Text Token für Token?

Weil seine einzige Operation darin besteht, das wahrscheinlichste nächste Token zu allem Bisherigen vorherzusagen. Nach jeder Vorhersage wird dieses Token der Eingabe hinzugefügt, und der Vorgang wiederholt sich: die Schleife „Weiter erzeugen?“ in der Darstellung. Dieser rekursive Entwurf lässt das Modell beliebig langen Text erzeugen, und er ist auch der Grund, warum die Ausgabe abdriften oder sich wiederholen kann: Jeder Schritt sieht nur die Token, die bereits erzeugt wurden.

Was ist der Unterschied zwischen Vortraining und Fine-Tuning?

Das Vortraining ist die gewaltige erste Phase: Das Modell lernt allgemeine Sprachmuster aus Terabytes an Text, und daher stammt seine rohe Fähigkeit. Fine-Tuning ist eine kleinere, spätere Phase auf kuratierten Daten für eine bestimmte Aufgabe oder einen bestimmten Stil, und sie ändert, wie sich das vortrainierte Modell verhält. Die meisten Nutzer von LLMs betreiben nie Fine-Tuning: sie prompten, und das lenkt dasselbe Modell zur Inferenzzeit.

Warum geben LLMs manchmal selbstsicher falsche Antworten?

Weil das Modell auf wahrscheinlichen Text optimiert, nicht auf Wahrheit. Es hat weder eine interne Datenbank noch eine Prüfung auf Richtigkeit; es erzeugt die Fortsetzung, die zu seinen Trainingsmustern passt. Ist das Muster eine plausibel klingende Behauptung, stellt es sie selbstsicher auf. Deshalb beschreibt die Darstellung das Modell als Vorhersager und nicht als Abrufsystem: dieser Vorbehalt ist eine Eigenschaft des Mechanismus und kein Fehler, den Skalierung allein behebt.

Diese Mindmap in QueryChart bearbeiten

Öffnen Sie die Mindmap auf einer bearbeitbaren Leinwand. Verschieben Sie Ideen und ergänzen Sie Zweige und Verbindungen.

Diese Mindmap in QueryChart bearbeiten