大语言模型的工作原理——训练与推理 · 思维导图
大语言模型的工作原理——训练与推理. 可编辑的思维导图，以彩色分支、子主题和曲线连接呈现想法。 曲线表示联系；只有方向重要时才使用箭头。
大语言模型本质上是一个规模巨大的下一个词预测器：它从极其庞大的文本中学到统计规律，再靠预测接下来会是什么，一次一个 token 地生成回复。
大语言模型的工作原理——训练与推理 · 思维导图
The interactive MindMap canvas for this explanation — every lane, row and arrow above is a real QueryChart diagram you can open and edit.
如何阅读这张思维导图
- 从中心主题开始，沿着彩色分支探索相关想法。
- 曲线表示联系；只有方向重要时才使用箭头。
Training
这一分支汇集 “Pre-training is a single prediction task at massive scale: given a sentence with a word hidden, predict it. From that one task the model learns grammar, facts and reasoning patterns.”, “The model learns statistical patterns between words”, “Fine-tuning continues training on a smaller, curated dataset — customer support, code, a company's docs — to change the model's behaviour toward the desired style.”.
Tokenize
这一分支汇集 “The prompt is split into tokens”, “Tokens become numerical embeddings”.
Attention
这一分支汇集 “Attention is what lets “bank” be read as a river bank or a money bank depending on the surrounding words — the whole sentence influences every token's meaning.”.
Generate
这一分支汇集 “The model predicts the most likely next token”, “The model writes one token at a time, feeding each output back in as new input. A stop condition (end-of-text token, length limit) ends the loop.”.
Output
这一分支汇集 “Tokens are decoded back into readable text”, “The response is returned to the user”.
跨分支联系
LLM 是一个下一个 token 的预测器，不是一套答案检索系统——每一句回复都是一连串单个 token 的预测。
预训练提供能力；微调和提示词把这份能力引导到具体任务上。
模型思考所用的单位是 token，既不是字符，也不是完整的词。
注意力让上下文能够重塑含义，这就是同样的词在不同句子里意思不同的原因。
生成是递归的：每一个输出的 token 都成为新的输入，这既是回复能够很长、很连贯的原因，也是它能同样自信地出错的原因。
Key relationships and takeaways
- LLM 是一个下一个 token 的预测器，不是一套答案检索系统——每一句回复都是一连串单个 token 的预测。
- 预训练提供能力；微调和提示词把这份能力引导到具体任务上。
- 模型思考所用的单位是 token，既不是字符，也不是完整的词。
- 注意力让上下文能够重塑含义，这就是同样的词在不同句子里意思不同的原因。
- 生成是递归的：每一个输出的 token 都成为新的输入，这既是回复能够很长、很连贯的原因，也是它能同样自信地出错的原因。
When to use this visual
- 向非技术的听众解释 LLM 到底在做什么，以及它为什么会一本正经地说错。
- 教产品团队分清训练、微调和提示词这三件事，好让他们能判断模型的行为由什么决定。
- 把关于 token 上限、成本和延迟的讨论，落回到逐个 token 生成的机制上。
运作方式
调整中心主题
根据项目或课程修改中心主题的名称。
扩展分支
编辑想法并添加示例或注释。
连接相关想法
绘制跨分支连接；只有方向重要时才使用箭头。
常见问题
什么是大语言模型？
大语言模型（LLM）是一种神经网络，被训练用来预测序列中的下一个词，而且规模极其巨大。仅凭这一个目标，它就把语法、事实、推理和文风学到了足以生成流畅文本的程度。这个名字本身描述的就是机制：它很大（有数十亿参数），在语言上训练，而且骨子里是一个下一个 token 的预测器。
LLM 为什么一次只生成一个 token？
因为它唯一的操作，就是根据目前已有的全部内容预测最可能的下一个 token。每预测一次，这个 token 就被追加进输入，过程再重来一遍——也就是图中“继续生成？”那个循环。正是这种递归设计让模型能产出任意长的文本，也正因如此，输出可能跑题或重复：每一步只看得见它已经生成的那些 token。
预训练和微调有什么区别？
预训练是规模庞大的初始阶段：模型从数以 TB 计的文本里学到通用的语言规律，这给了它最原始的能力。微调是之后规模小得多的阶段，用精选的数据针对某个具体任务或风格，改变这个已预训练模型的行为方式。多数 LLM 的使用者从不做微调——他们写提示词，在推理时引导同一个模型。
LLM 为什么有时会很自信地给出错误答案？
因为模型优化的目标是可能性高的文本，而不是真相。它没有内部数据库，也没有正确性检查器；它产出的是符合训练规律的续写。当那个规律恰好是一句听起来合理的论断时，它就会自信地说出来。这就是为什么这张图解把模型描述成预测器而不是检索器——这条诚实的告诫是机制本身的性质，而不是靠单纯扩大规模就能修好的缺陷。
在 QueryChart 中编辑此思维导图
在可编辑画布中打开思维导图。移动想法、添加分支并绘制连接。