数据质量管理流程图

数据质量管理流程模板,用于确定关键数据、制定可量化规则、监控结果,并持续推进预防性改进。

使用此模板

什么是数据质量管理流程

数据质量管理是持续控制和改进的循环,不是一次性清理。本模板从具体使用方需求和劣质数据的影响开始,在所有者确认目标与优先级前先分析现状。数据管理员依据权威来源定义可量化规则,工程团队确定可实施的控制点,并用代表性数据验证结果是否可靠且可行动。规则获批后发布评分、预警和责任归属,使阈值突破能够触发明确响应,而不是成为无人负责的又一条仪表盘告警。

图中把单个缺陷视为需要交接的事项,而不是整个质量体系。一个问题的复现、遏制、修正和结案属于 /zh/templates/数据质量问题管理流程。本页关注系统层面:选择关键数据,维护规则和容差,监测趋势,识别反复出现的控制缺口,并验证预防性变更能否持续改善。若权限、所有权或跨域定义阻碍工作,可通过 /zh/templates/数据治理流程 作出决策。阈值和质量维度应由组织自行确定;本模板提供循环,不提供通用目标。

本流程图涵盖的内容

本模板包含

  • 围绕关键数据和使用方影响确定范围,在规则设计前完成数据分析和基线确认
  • 可量化的质量规则、权威来源、负责所有者、控制点和符合场景的容差
  • 实施控制并以代表性数据测试,再发布评分、预警和责任
  • 按计划监控、明确判断是否突破阈值,并把单个质量问题交给专门流程
  • 诊断反复出现的缺口、实施预防性改进、衡量变更后趋势,并保留历史后停用规则

何时使用本模板

  • 质量仪表盘有大量指标,但团队说不清它们保护什么业务用途或由谁行动
  • 不同系统以不同方式衡量同一字段,因为权威来源、规则和容差尚未达成一致
  • 团队反复修正错误记录,却没有改变产生问题的源流程或控制
  • 新的数据产品或关键报表需要在用户依赖前完成质量规则和监控设计

运作方式

  1. 从用途和影响开始

    明确依赖这些数据的决策、服务、运营或分析,以及质量不佳的后果。以此筛选数量可控的关键数据元素,而不是测量所有可用字段。

  2. 先分析再定容差

    选择阈值前,先掌握当前分布、缺失、有效性和已知例外。由负责所有者和使用方根据用途、风险及可行控制设定容差,不要虚构一个通用百分比。

  3. 让每条规则都可行动

    为每条规则记录定义、权威来源、测量点、负责人、告警接收人和预期响应。无法区分有效干预与噪声的指标应删除或重新设计。

  4. 区分问题和改进

    阈值突破且需要修正时,为每个实例创建问题记录;再跨问题分析规律,找出预防性工作。关联两个层级,以便根据它要减少的事件评估源端变更。

  5. 评审趋势和规则相关性

    改进后衡量结果,积累足够观察值再判断效果是否持续,并在来源或用途变化时评审规则。停用过时规则时保留定义和历史。

常见问题

数据质量管理包括哪些步骤?

定义关键数据及用途、分析基线、商定质量目标、设计可量化规则和容差、确定来源与所有者、实施并测试控制、发布监控和预警、处理阈值突破、改进反复出现的缺口、验证趋势,并定期保留、修订或停用规则。

数据质量管理与问题管理有何不同?

质量管理维护目标、规则、控制、监控和预防性改进组合;问题管理处理一个已发现的问题,包括分诊、遏制、根因确认、修正和结案。监控流程应创建或关联问题,而不是重复详细响应步骤。

应如何设定数据质量阈值?

应依据数据用途、基线表现、失效影响和可用的控制响应设定。所有者和使用方必须理解突破阈值意味着什么。直接复制其他数据集的阈值,可能因场景不同造成虚假保证或过多噪声。

何时应停用数据质量规则?

当数据元素或用途已不存在、另一条规则已可靠覆盖同一目标,或流程重构使原有测量失去意义时,可以停用。应保留规则定义、决策和历史结果,以便继续解释趋势。

此流程所处的位置

在大多数组织中,此流程紧随数据目录流程图:从登记到认证之后,并交接给数据质量问题管理流程图

它是数据治理中的一个步骤。

  1. 第 1 步: 数据治理运营模式模板

  2. 第 2 步: 数据治理流程图:从问题受理到闭环

  3. 第 3 步: 数据目录流程图:从登记到认证

    数据目录流程模板,涵盖资产登记、元数据补充、管理责任分配、用户场景验证、状态认证和记录维护。

  4. 第 4 步: 数据质量管理流程图 当前位置

    数据质量管理流程模板,用于确定关键数据、制定可量化规则、监控结果,并持续推进预防性改进。

  5. 第 5 步: 数据血缘文档流程图

    数据血缘文档流程模板,涵盖输出定界、来源依赖追踪、转换映射、证据验证和持续变更维护。

  6. 第 6 步: 数据生命周期管理流程图

所属

适用于此流程的 QueryChart 功能

使用此模板

Browse all 数据管理与数据治理流程模板