2024清洁数据质量综合管理建设方案.pdf

清洁数据质量综合管理建设方案

越来越多的企业应用和服务都基于数据而建，数据质量是

数据价值得以发挥的前提。例如企业运营效率主要依赖于数据

获取的准确性和及时性，企业客户关系管理系统中的错误或不

完整数据将导致客户沟通不顺畅，影响客户满意度。

随着数据类型、数据来源的不断丰富以及数据量的飞速增

长，企业面临数据质量问题的概率显著增加。数据质量是一个

复杂问题，往往是多种因素综合作用的结果，解决数据质量问

题要从机制、制度、流程、工具、管理等多个方面发力。

数据质量基本概念和管理框架，详细说明数据质量控制、

数据质量改进、数据质量度量的基本方法。

1基于PDCA的数据质量管理框架

企业数据来源于多个不同的业务系统，数据流转、处理环

节多，用“GarbageinGarbageout（垃圾进，垃圾出）”原

则保证数据质量已成为数字化转型企业的共识。企业数据质量

管理是一个系统性的工程，华为数据质量从数据质量领导力、

数据质量持续改进、数据质量能力保障三方面展开，有机结合

形成联动。

1.1什么是数据质量

ISO9000标准对质量的定义为“产品固有特性满足要求的程

度”，其中“要求”指“明示的、隐含的或必须履行的需求或

期望”，强调“以顾客为关注焦点”。

在WonKim的论文“ATaxonomyofDirtyData”中，数据

质量被定义为“适合使用”，即数据适合使用的程度、满足特

定用户期望的程度。

数据质量不是追求100%，而是从数据使用者的角度定义，

满足业务、用户需要的数据即为“好”数据。

华为数据质量指“数据满足应用的可信程度”，从以下六

个维度对数据质量进行描述。

1）完整性：指数据在创建、传递过程中无缺失和遗漏，包

括实体完整、属性完整、记录完整和字段值完整四个方面。完

整性是数据质量最基础的一项，例如员工工号不可为空。

2）及时性：指及时记录和传递相关数据，满足业务对信息

获取的时间要求。数据交付要及时，抽取要及时，展现要及

时。数据交付时间过长可能导致分析结论失去参考意义。

3）准确性：指真实、准确地记录原始数据，无虚假数据及

信息。数据要准确反映其所建模的“真实世界”实体。例如员

工的身份信息必须与身份证件上的信息保持一致。

4）一致性：指遵循统一的数据标准记录和传递数据和信

息，主要体现在数据记录是否规范、数据是否符合逻辑。例如

同一工号对应的不同系统中的员工姓名需一致。

5）唯一性：指同一数据只能有唯一的标识符。体现在一个

数据集中，一个实体只出现一次，并且每个唯一实体有一个键

值且该键值只指向该实体。例如员工有且仅有一个有效工号。

6）有效性：指数据的值、格式和展现形式符合数据定义和

业务定义的要求。例如员工的国籍必须是国家基础数据中定义

的允许值。

1.2数据质量管理范围

提到数据质量管理，经常有人会问：数据质量和流程质量

有什么区别？流程质量是基于流程结果评估业务执行的好坏，

数据质量更关注业务对象、业务规则、业务过程、业务结果等

数据是否得到了及时记录。以采购验收为例，采购验收及时性

属于流程质量，送达到验收所需时间满足3天的SLA即属于流程

质量合格；而验收数据录入及时性属于数据质量，验收到录入

所需时间满足1天的SLA即属于数据质量合格。

1.3数据质量的总体框架

华为以ISO8000质量标准体系为依据，设计了PDCA（Plan、

Do、Check、Action、计划、执行、检查、处理）持续改进的数

据质量管理框架，如图8-1所示。

图8-1数据质量管理框架

数据质量管理以数据清洁为目标，以业务需求为驱动，通

过PDCA的循环，提升数据质量，达到数据质量结果满意。领导

力模块通过制定政策、规范来构建数据质量管理机制，对数据

质量的工作起牵引作用。能力保障模块构建完整的数据组织、

流程和工具，起到支撑作用。

（1）自上而下打造数据质量领导力

数据质量政策应该有不同的层次，数据质量的管控要兼顾

宏观方面的指导原则以及微观层面的具体操作要求，引导正确

的业务行为，提升企业成员的数据质量意识。

（2）全面推进数据质量持续改进机制

提升数据质量是为了满足业务应用，业务战略变化会产生

新数据，对数