大型語言模型的運作方式——訓練與推論 · 心智圖
大型語言模型的運作方式——訓練與推論. 可編輯嘅心智圖，以彩色分支、子題目同曲線連結呈現概念。 曲線表示關聯；只有方向重要時先用箭嘴。
大型語言模型就是一個放大到極致的下一個詞預測器：它由海量文字中學到統計模式，然後靠預測接下來會出現甚麼，一次一個詞元地生成回應。
大型語言模型的運作方式——訓練與推論 · 心智圖
The interactive MindMap canvas for this explanation — every lane, row and arrow above is a real QueryChart diagram you can open and edit.
點樣閱讀呢張心智圖
- 由中央主題開始，沿住彩色分支探索相關概念。
- 曲線表示關聯；只有方向重要時先用箭嘴。
Training
呢個分支匯集 “Pre-training is a single prediction task at massive scale: given a sentence with a word hidden, predict it. From that one task the model learns grammar, facts and reasoning patterns.”, “The model learns statistical patterns between words”, “Fine-tuning continues training on a smaller, curated dataset — customer support, code, a company's docs — to change the model's behaviour toward the desired style.”.
Tokenize
呢個分支匯集 “The prompt is split into tokens”, “Tokens become numerical embeddings”.
Attention
呢個分支匯集 “Attention is what lets “bank” be read as a river bank or a money bank depending on the surrounding words — the whole sentence influences every token's meaning.”.
Generate
呢個分支匯集 “The model predicts the most likely next token”, “The model writes one token at a time, feeding each output back in as new input. A stop condition (end-of-text token, length limit) ends the loop.”.
Output
呢個分支匯集 “Tokens are decoded back into readable text”, “The response is returned to the user”.
跨分支關聯
LLM 是一個下一個詞元的預測器，不是一套答案檢索系統——每一個回應都是一連串單一詞元的預測串成的。
預訓練提供能力；微調與提示詞把它導向某一項任務。
模型思考時的單位是詞元，不是字元，也不是完整的詞。
注意力讓上下文重塑意思，而這正是同樣的字詞在不同句子裡有不同意思的原因。
生成是遞迴的：每一個輸出的詞元都成為新的輸入，而這正是回應可以又長、又連貫、又以同樣的自信說錯的原因。
Key relationships and takeaways
- LLM 是一個下一個詞元的預測器，不是一套答案檢索系統——每一個回應都是一連串單一詞元的預測串成的。
- 預訓練提供能力；微調與提示詞把它導向某一項任務。
- 模型思考時的單位是詞元，不是字元，也不是完整的詞。
- 注意力讓上下文重塑意思，而這正是同樣的字詞在不同句子裡有不同意思的原因。
- 生成是遞迴的：每一個輸出的詞元都成為新的輸入，而這正是回應可以又長、又連貫、又以同樣的自信說錯的原因。
When to use this visual
- 向非技術的聽眾解釋 LLM 實際上在做甚麼，以及它為甚麼會很有自信地說錯。
- 讓產品團隊分清訓練、微調與提示詞三者的分別，好讓他們可以推敲模型的行為。
- 以逐個詞元的機制，為一場關於詞元上限、成本與延遲的討論定下基礎。
運作方式
調整中央主題
按項目或課堂修改中央主題名稱。
擴展分支
編輯概念並加入例子或註解。
連結相關概念
畫出跨分支連結；只有方向重要時先用箭嘴。
常見問題
甚麼是大型語言模型？
大型語言模型（LLM）是一個神經網絡，以極大的規模受訓於預測一個序列裡的下一個詞。單憑這一個目標，它就學到足夠的文法、事實、推理與風格，可以生成流暢的文字。這個名稱描述的正是機制本身：它很大（數以十億計的參數）、以語言訓練，而且本質上是一個下一個詞元的預測器。
為甚麼 LLM 一次只生成一個詞元？
因為它唯一的操作，就是在已有的一切之上預測最有可能的下一個詞元。每完成一次預測，那個詞元就會加進輸入，然後過程重複——也就是這張圖解裡「繼續生成？」那個迴圈。這種遞迴的設計令模型可以產生任意長度的文字，同時也是輸出會偏離或者重複的原因：每一步都只看得見它自己已經生成的那些詞元。
預訓練與微調有甚麼分別？
預訓練是規模龐大的最初階段：模型由數以 TB 計的文字中學到一般的語言模式，這給了它原始的能力。微調則是之後一個較小的階段，用經過篩選的資料針對某一項任務或某一種風格，改變這個已預訓練的模型的行為。大部分 LLM 的用戶從來不做微調——他們用提示詞，在推論的時候引導同一個模型。
為甚麼 LLM 有時會很有自信地給出錯的答案？
因為模型優化的目標是產生看似合理的文字，而不是真確。它沒有內部的資料庫，也沒有正確性檢查器；它產生的是最貼合它訓練模式的那一段接續。當那個模式剛好是一句聽起來很合理的斷言，它就會很有自信地說出來。這也是這張圖解把模型描述為預測器而不是檢索器的原因——這一點誠實的告誡是機制本身的性質，不是單靠擴大規模就會修補的錯誤。
喺 QueryChart 編輯呢張心智圖
喺可編輯畫布開啟心智圖。移動概念、加入分支同畫連結。