So funktionieren große Sprachmodelle — Training und Inferenz

So funktionieren große Sprachmodelle — Training und Inferenz

Die interaktive FlowJam-Zeichenfläche zu dieser Erklärung — jede Bahn, jede Zeile und jeder Pfeil oben gehört zu einem echten QueryChart-Diagramm, das Sie öffnen und bearbeiten können.

So lesen Sie diese Darstellung

• Lesen Sie zuerst die Spalte „Training“ — sie erklärt, woher das Modell seine Fähigkeit hat — und dann die Spalte „Inferenz“ dafür, wie diese Fähigkeit genutzt wird.
• Die Rückkopplung ist der entscheidende Zug: Der Zweig „Ja“ von „Weiter erzeugen?“ zeigt zurück in die Attention-Schichten, und der Zweig „Stopp“ fließt hinab zum decodierten Text.
• Die drei Zeilen der Inferenz sind die Kette: Eingabe wird zu Token, Token werden zu Vorhersagen, Vorhersagen werden zur Ausgabe.

Training: woher das Modell kommt

„Vortraining auf riesigen Textmengen“ ist das Fundament — das Modell bekommt einen gewaltigen Korpus zu sehen und wird auf eine Aufgabe trainiert: ein fehlendes Wort vorherzusagen. Aus diesem einen Ziel lernt es Grammatik, Fakten und Muster des Schlussfolgerns. „Das Modell lernt statistische Muster zwischen Wörtern“ benennt die Natur dieses Lernens, und „Fine-Tuning passt das Modell an eine Aufgabe an“ ist die Ausrichtung — ein kleinerer, kuratierter Datensatz, der das Verhalten in Richtung eines gewünschten Stils oder Fachgebiets verschiebt.

Inferenz: aus Eingabe wird Ausgabe

„Der Prompt wird in Token zerlegt“ und „Token werden zu numerischen Embeddings“ sind die Eingabehälfte: Text wird in kleine Einheiten zerlegt und in Vektoren umgewandelt, mit denen das Modell rechnen kann. „Attention-Schichten gewichten, welche Wörter zusammen zählen“ ist der Mechanismus, der dem Kontext seine Kraft gibt — das Wort „bank“ wird neben „river“ anders gelesen als neben „money“, weil die Attention jedes Token jedes andere Token berücksichtigen lässt.

Die Schleife der Erzeugung

„Das Modell sagt das wahrscheinlichste nächste Token voraus“ ist der elementare Akt der Erzeugung. „Weiter erzeugen?“ macht die Schleife sichtbar: Jede Vorhersage wird als neue Eingabe zurückgespeist, und deshalb entstehen Antworten Token für Token statt als Ganzes. „Token werden zurück in lesbaren Text decodiert“ und „Die Antwort geht an den Nutzer zurück“ schließen die Kette ab — was der Nutzer sieht, ist das decodierte Ende dieser Schleife.

Wichtige Zusammenhänge und Erkenntnisse

• Ein LLM sagt das nächste Token voraus, es ruft keine Antworten ab — jede Antwort ist eine Kette einzelner Token-Vorhersagen.
• Das Vortraining liefert die Fähigkeit; Fine-Tuning und Prompting richten sie auf eine Aufgabe aus.
• Die Einheiten, in denen das Modell denkt, sind Token, nicht Zeichen und nicht ganze Wörter.
• Die Attention lässt den Kontext die Bedeutung umformen, und deshalb heißen dieselben Wörter in verschiedenen Sätzen Verschiedenes.
• Die Erzeugung ist rekursiv: Jedes ausgegebene Token wird neue Eingabe, und deshalb können Antworten lang, stimmig und mit derselben Selbstsicherheit falsch sein.

Wann Sie diese Darstellung nutzen

• Einem nichttechnischen Publikum erklären, was ein LLM tatsächlich tut und warum es selbstsicher falsch liegen kann.
• Einem Produktteam den Unterschied zwischen Training, Fine-Tuning und Prompting vermitteln, damit es das Verhalten des Modells einschätzen kann.
• Ein Gespräch über Token-Grenzen, Kosten und Latenz an der Mechanik Token für Token ausrichten.

So funktioniert es

1. Vermerken Sie die Trainingsstufe, auf der Sie aufbauen

   Notieren Sie am Kasten zum Vortraining die Modellfamilie, die Sie nutzen, und ob ihre Gewichte offen oder geschlossen sind; am Fine-Tuning, ob Sie wirklich nachtrainieren oder stattdessen prompten.

2. Ergänzen Sie den System-Prompt

   Fügen Sie vor der Tokenisierung des Prompts einen Schritt ein, in dem die Systemanweisungen eingespeist werden, denn für die meisten Nutzer wird dort das Verhalten tatsächlich geformt.

3. Zeigen Sie die Schicht für Sicherheit und Leitplanken

   Ergänzen Sie zwischen der Vorhersageschleife und der Ausgabe den Moderationsschritt, der in einer ausdrücklichen Sperre oder Umformulierung endet, wie Systeme im Produktivbetrieb die Erzeugung begrenzen.

4. Behalten Sie die Token im Blick

   Vermerken Sie am Tokenizer-Schritt das tatsächliche Token-Budget Ihres Modells und am Decodier-Schritt das Streaming, das die Ausgabe schon während der Erzeugung zeigt.

Häufig gestellte Fragen

Was ist ein großes Sprachmodell?

Ein großes Sprachmodell (LLM) ist ein neuronales Netz, das darauf trainiert ist, das nächste Wort in einer Folge vorherzusagen — in gewaltigem Maßstab. Aus diesem einen Ziel lernt es Grammatik, Fakten, Schlussfolgern und Stil gut genug, um flüssigen Text zu erzeugen. Der Name beschreibt den Mechanismus: Es ist groß (Milliarden von Parametern), auf Sprache trainiert und im Kern ein Vorhersager des nächsten Tokens.

Warum erzeugt ein LLM Text Token für Token?

Weil seine einzige Operation darin besteht, das wahrscheinlichste nächste Token zu allem Bisherigen vorherzusagen. Nach jeder Vorhersage wird dieses Token der Eingabe hinzugefügt, und der Vorgang wiederholt sich — die Schleife „Weiter erzeugen?“ in der Darstellung. Dieser rekursive Entwurf lässt das Modell beliebig langen Text erzeugen, und er ist auch der Grund, warum die Ausgabe abdriften oder sich wiederholen kann: Jeder Schritt sieht nur die Token, die bereits erzeugt wurden.

Was ist der Unterschied zwischen Vortraining und Fine-Tuning?

Das Vortraining ist die gewaltige erste Phase: Das Modell lernt allgemeine Sprachmuster aus Terabytes an Text, und daher stammt seine rohe Fähigkeit. Fine-Tuning ist eine kleinere, spätere Phase auf kuratierten Daten für eine bestimmte Aufgabe oder einen bestimmten Stil, und sie ändert, wie sich das vortrainierte Modell verhält. Die meisten Nutzer von LLMs betreiben nie Fine-Tuning — sie prompten, und das lenkt dasselbe Modell zur Inferenzzeit.

Warum geben LLMs manchmal selbstsicher falsche Antworten?

Weil das Modell auf wahrscheinlichen Text optimiert, nicht auf Wahrheit. Es hat weder eine interne Datenbank noch eine Prüfung auf Richtigkeit; es erzeugt die Fortsetzung, die zu seinen Trainingsmustern passt. Ist das Muster eine plausibel klingende Behauptung, stellt es sie selbstsicher auf. Deshalb beschreibt die Darstellung das Modell als Vorhersager und nicht als Abrufsystem — dieser Vorbehalt ist eine Eigenschaft des Mechanismus und kein Fehler, den Skalierung allein behebt.

Diese Darstellung in QueryChart (FlowJam) bearbeiten

Öffnen Sie genau diese LLM-Zeichenfläche als eigenes Diagramm, benennen Sie die Stufen auf Ihre Pipeline um, und vermerken Sie das Modell, das Sie nutzen.

Diese Darstellung in QueryChart (FlowJam) bearbeiten