数据血缘文档流程图
数据血缘文档流程模板,涵盖输出定界、来源依赖追踪、转换映射、证据验证和持续变更维护。
什么是数据血缘文档流程
只有范围和证据都清晰,数据血缘才可靠。本模板从一个具名输出及其用途出发,识别系统、数据集和所有者,再收集源元数据、管道逻辑、查询、接口和人工传输。元数据分析师映射源字段到目标字段,工程师记录筛选、关联和派生逻辑;计划、控制和所有权也放在同一路径上,使读者既能看见数据去了哪里,也能看见如何变化以及谁能验证每一段。无法解释的依赖会回到调查,而不是用一条无依据的箭头掩盖。
流程从来源走到消费端,并要求技术方和用户共同验证。敏感或关键路径需补充控制证据和影响说明,但文档本身并不能证明控制有效。发布的血缘应版本化并关联所有者,之后持续监测管道、模式和所有权变化。/zh/templates/数据目录流程 可把这些关系用于资产发现;/zh/templates/数据质量管理流程 可把质量规则挂接到映射出的控制点;/zh/templates/主数据管理流程 则治理路径中的共享标识符。本页只负责血缘文档和验证,不替代这些相邻流程。
本流程图涵盖的内容
本模板包含
- 围绕具体输出、用途、边界、系统、数据集和负责所有者定义范围
- 发现源元数据、管道、查询、接口、人工传输和派生数据依赖
- 字段级源到目标映射,包括转换、筛选、关联、计划、控制和所有权
- 敏感或关键路径的附加评审,并与实际数据移动进行源到消费端验证
- 版本化发布、通知所有者和使用方,以及管道、模式或所有权重大变更后的重新映射
何时使用本模板
- 团队无法解释报表值如何得出,或哪个来源和转换引入了差异
- 迁移、管道变更或报表重构需要一份公认的上下游依赖图
- 控制、影响或数据质量评审依赖不完整的图,遗漏人工传输、筛选或语义计算
- 系统已自动发现血缘,但所有者和使用方尚未验证其含义、边界和遗漏环节
运作方式
以消费端确定范围
明确要解释的报表、指标、模型、接口或业务操作,以及它支持的决策。设定字段、系统和时间边界,让血缘能够完成并接受评审,而不是无限扩展。
为每一段收集证据
使用现有元数据、查询、管道定义、接口规范、日志和所有者访谈。记录证据来源和日期,明确标记未知项,不要把假设画成权威关系。
准确映射转换
按用途所需粒度记录源字段和目标字段、筛选、关联、聚合、参考查找、人工编辑和计划。当业务含义沿路径变化时关联受治理术语。
从两端验证
请来源所有者和工程师验证技术流转,再请使用方确认映射输出和业务解释符合实际用途。发布前应解决映射或实施中的差异。
定义变更触发条件
监测可能使记录失效的模式、管道、接口、计算、来源、所有者和消费变化。保留版本,并让重大变更重新进入定界、发现和验证。
常见问题
记录数据血缘包括哪些步骤?
定义输出和范围、识别系统与所有者、收集来源和管道证据、查找人工及派生依赖、映射字段和转换、补充计划与控制、评审关键路径、与实际移动比较、由来源方和使用方验证、发布版本并监测变更。
数据血缘文档应细化到什么程度?
应达到能够回答既定问题的程度。影响分析可能只需系统和数据集关系,指标验证则可能需要字段级计算、筛选和关联。要说明边界和未解决缺口,避免读者推断出证据并不支持的精度。
自动血缘能替代所有者验证吗?
自动化可以高效发现许多技术依赖,但可能遗漏人工传输、外部步骤、运行时选择或业务含义。尤其当决策依赖文档结果时,来源所有者、工程师和使用方仍应验证路径并标记缺口。
何时应更新数据血缘?
来源、模式、管道、接口、计算、所有者或消费用途发生重大变化后,以及资产规定的评审周期到期时都应更新。版本化保存更新,使历史输出和事件可以对应当时适用的血缘。
此流程所处的位置
在大多数组织中,此流程紧随数据质量管理流程图之后,并交接给数据生命周期管理流程图。
它是数据治理中的一个步骤。
第 1 步: 数据治理运营模式模板
第 2 步: 数据治理流程图:从问题受理到闭环
第 3 步: 数据目录流程图:从登记到认证
第 4 步: 数据质量管理流程图
数据质量管理流程模板,用于确定关键数据、制定可量化规则、监控结果,并持续推进预防性改进。
第 5 步: 数据血缘文档流程图 当前位置
数据血缘文档流程模板,涵盖输出定界、来源依赖追踪、转换映射、证据验证和持续变更维护。
第 6 步: 数据生命周期管理流程图
数据生命周期管理模板,涵盖采集、验证、分类、存储、使用、共享审批、保留、冻结、归档和凭证化处置。