資料管線架構——由來源到洞察 · 心智圖
資料管線架構——由來源到洞察. 可編輯嘅心智圖，以彩色分支、子題目同曲線連結呈現概念。 曲線表示關聯；只有方向重要時先用箭嘴。
資料管線把資料由產生它的系統，送到用得著它的地方：來源供應給擷取層，處理把資料轉換，儲存把它保存下來，而儀表板與模型則把它變成決定。
資料管線架構——由來源到洞察 · 心智圖
The interactive MindMap canvas for this explanation — every lane, row and arrow above is a real QueryChart diagram you can open and edit.
點樣閱讀呢張心智圖
- 由中央主題開始，沿住彩色分支探索相關概念。
- 曲線表示關聯；只有方向重要時先用箭嘴。
Sources
呢個分支匯集 “Every system that produces data — transactions, user behaviour, server logs, third-party APIs — is a source. The pipeline's job is to bring them together.”, “Change data capture watches the source databases and emits each change as an event, so the pipeline is fed continuously rather than by nightly dumps.”.
Ingest
呢個分支匯集 “The queue absorbs bursts: if downstream processing slows, data waits in line instead of being dropped.”.
Transform
呢個分支匯集 “Stream processor transforms in real time”, “Not everything needs real time. Heavy historical joins and aggregations run as scheduled jobs, which is cheaper and easier to debug.”.
Store
呢個分支匯集 “The warehouse holds the unified, queryable history — the same event in a consistent schema, no matter which source it came from.”.
Use insights
呢個分支匯集 “Analytics dashboards query the warehouse”, “Machine learning models train on the data”, “A pipeline earns its keep only when reports and models change decisions — the return loop closes back at the product.”.
跨分支關聯
五條泳道就是管線的解剖圖：來源、擷取、處理、儲存、取用。
串流與批次是穿過同一條管線的兩條路徑，按延遲與成本來選擇。
變更資料擷取令擷取變成持續進行，所以倉庫追蹤的是來源本身，而不是每晚一次的傾印。
倉庫是每一個取用者都會讀的那個單一而一致的視圖。
管線的價值在於回到業務的那個迴圈——洞察必須改變決定。
Key relationships and takeaways
- 五條泳道就是管線的解剖圖：來源、擷取、處理、儲存、取用。
- 串流與批次是穿過同一條管線的兩條路徑，按延遲與成本來選擇。
- 變更資料擷取令擷取變成持續進行，所以倉庫追蹤的是來源本身，而不是每晚一次的傾印。
- 倉庫是每一個取用者都會讀的那個單一而一致的視圖。
- 管線的價值在於回到業務的那個迴圈——洞察必須改變決定。
When to use this visual
- 在一支團隊選工具之前，先教會他們資料管線的層次，令工具對得上角色。
- 設計一條新的管線：這張畫布指出串流／批次的決定，以及儲存的決定各自落在哪裡。
- 覆核一條現有的管線——少了一個佇列，或者沒有變更資料擷取，都是這張圖會明白顯示出來的一個階段。
運作方式
調整中央主題
按項目或課堂修改中央主題名稱。
擴展分支
編輯概念並加入例子或註解。
連結相關概念
畫出跨分支連結；只有方向重要時先用箭嘴。
常見問題
甚麼是資料管線？
資料管線是把資料由產生它的地方送到用得著它的地方的那套系統，途中經過擷取、處理、儲存與取用幾個階段。它的工作是收集資料，令資料變得一致而且可以查詢，然後供應給用到它的儀表板、報表與模型——而且是持續地供應，不是靠一次次脆弱的人手匯出。
串流處理與批次處理有甚麼分別？
串流處理在事件抵達時就把它們轉換，帶來低延遲——以秒或分鐘計——代價是系統更複雜、更昂貴。批次處理則對累積下來的資料執行排定的作業，結果以小時計，但成本較低，也更容易除錯。真實的管線兩者都會運行：對時間敏感的資料走串流，沉重的歷史工作走批次。
甚麼是變更資料擷取？
變更資料擷取（CDC）監看一個來源資料庫，為每一次新增、更新或刪除發出一個事件，令下游系統幾乎在改動發生的同時就知道。它以一道持續的改動流，取代每晚一次的全量傾印，而這正是倉庫可以近乎即時地追蹤它的來源、而不是一日一次的原因。
資料管線為甚麼需要訊息佇列？
因為生產者與消費者的速度並不一樣。佇列把兩者解耦：生產者發出一個事件之後就繼續做自己的事，而如果下游處理慢了下來，事件會在佇列裡等候，不會被丟掉，也不會卡住生產者。這種緩衝令管線能承受突發高峰與慢速階段，這也是圖解把佇列放在擷取之後緊接位置的原因。
喺 QueryChart 編輯呢張心智圖
喺可編輯畫布開啟心智圖。移動概念、加入分支同畫連結。