数据清洗管理规范.docVIP

DB5110/T3—2023

PAGE4

DB5110

四川省（内江市）地方标准

DB5110/T3—2023

数据清洗管理规范

DataCleaningManagementSpecification

DB5110/T1—2023

DB5110/T3—2023

PAGEII

PAGE9

目??次

TOC\h\z\t前言、引言标题,1,参考文献、索引标题,1,章标题,1,参考文献,1,附录标识,1,一级条标题,3,二级条标题,4,三级条标题,5前??言 III

1范围 1

2引用文件 1

3术语和定义 1

3.1数据data 1

3.2数据采集dataacquisition 1

3.3数据清洗加工datacleaningandprocessing 1

3.4政务数据governmentdate 1

3.5结构化数据structureddata 1

3.6非结构化数据unstructureddata 1

3.7半结构化数据semi-structureddata 2

3.8表结构tablestructure 2

4缩略语 2

5清洗目的 2

6管理职责 2

7清洗流程 2

8具体操作 3

8.1定义规则 3

8.2数据抽取 3

8.3数据过滤 4

8.4数据检核 4

8.4.1检核要求 4

8.4.2检核步骤 4

8.5错误标识 4

8.5.1错误类型 4

8.5.2识别方法 4

8.6标识步骤 4

8.7错误处理 5

8.7.1残缺数据处理 5

8.7.1.1处理策略 5

8.7.1.2处理方法 5

8.7.2错误数据处理 5

8.7.2.1格式内容问题处理 5

8.7.2.2逻辑问题处理 6

8.7.2.3不合规问题处理 6

8.7.3重复数据处理 6

8.7.4质量报告 6

8.8数据转换 6

8.9结果检核 6

8.9.1检核内容 6

8.9.2结果要求 7

8.9.3检验步骤 7

8.10数据加载 7

附录A（规范性附录）典型业务数据清洗规则表 8

参?考?文?献 9

前??言

标准号：DB5110/T3-2023。

标准名称：数据清洗管理规范。

本标准部分按照GB/T1.1—2020标准化工作导则第1部分：标准化文件的结构和起草规则的规定起草。

请注意：本标准的某些内容可能涉及专利，本标准的发布机构不承担识别这些专利的责任。

标准归口单位：由内江市大数据中心提出并归口。

标准起草单位：内江市大数据中心、四川云领智城信息科技有限公司、杭州数梦工场科技有限公司。

标准主要起草人：

PAGE10

数据清洗管理规范

范围

本标准规定了内江数据中台的数据采集治理过程中的清洗加工的工作规范。

本标准适用于内江数据中台的数据清洗加工。

规范性引用文件

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

GB/T5271.1-2000信息技术词汇第1部份：基本术语

GB/T35295-2017信息技术大数据术语

术语和定义

下列术语和定义适用于本标准。

数据data

信息的可再解释的形式化表示，以适用于通信、解释或处理。

可以通过人工或字段手段处理数据。

[GB/T5271.1-2000，定义01.01.02]

数据采集dataacquisition

从数据源中得到原始数据，通过标准化处理并转化为满足未来数据共享与利用需求的过程。

[GB/T36625.3-征求意见稿，定义3.1]

数据清洗加工datacleaningandprocessing

运用一定方法修正识别的数据问题，转化为满足数据质量要求或应用要求的数据的过程。

政务数据governmentdate

各级政务部门及其技术支撑单位在履行职责过程中依法采集、生成、存储、管理的各类数据资源。

[GB/T38664.1-2020，3.1]

结构化数据structureddata

一种数据表示形式，按此形式，由数据元素汇集而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述。

[GB/T35295-2017，定义2.2.13]

非结构