交通大数据数据管理规范 .pdfVIP

交通大数据数据管理规范

1范围

本标准规定了大数据平台应用数据管理规范，包括数据标准管理、元数据管

理、数据质量管理三大模块和数据资产管理实现方案的说明。

2引用标准

下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日

期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的

修改单）适用于本文件。

GB/T1.1—2009标准化工作导则第1部分：标准的结构和编写

GB/T35778-2017企业标准化工作指南

GB/T37721-2019信息技术大数据分析系统功能要求

GB/T37722-2019信息技术大数据存储与处理系统功能要求

GB/T37973-2019信息安全技术大数据安全管理指南

GB/T35274-2017信息安全技术大数据服务安全能力要求

GB/T35295-2017信息技术大数据术语

GB/T35589-2017信息技术大数据技术参考模型

3术语和定义

3.1交通大数据平台

交通大数据平台以产品化、平台化、智能化为重点，提供交通大数据网络优

化产品及服务，并依托交通大数据，面向公安、交警等行业提供场景化应用，促

进跨界融合，构建产业服务新生态。平台技术架构采用分层设计，插件化开发，

模块化集成，可云化部署，整个架构灵活可靠、可扩展。

3.2元数据

元数据，又称中介数据、中继数据，为描述数据的数据（dataaboutdata），

主要是描述数据属性（property）的信息，用来支持如指示存储位置、历史数据、

资源查找、文件记录等功能。

3.3Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不

了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高

速运算和存储。

3.4HDFS

Hadoop分布式文件系统(HDFS)是指被设计成适合运行在通用硬件

(commodityhardware)上的分布式文件系统（DistributedFileSystem）。

3.5MapReduce

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。

3.6HBase

HBase是一个分布式的、面向列的开源数据库，该技术来源于FayChang

所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。

3.7Hive

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，

这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。

3.8Zookeeper

Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google

的Chubby一个开源的实现，是Hadoop和HBase的重要组件。它是一个为分布式

应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式

同步、组服务等。

4数据治理子系统

4.1概述

大数据平台应用数据管理功能由数据治理子系统实现。该子系统包含数

据标准管理、元数据管理、数据质量管理、数据资产管理、数据安全管理等

功能模块。

4.2目标

数据治理系统的建设为数据治理工作提供强有力的系统支撑。目标是以元数

据为驱动，建立大数据平台完整的数据治理体系。从组织架构、系统功能等方面

增强数据宏观管控，并实现精细化管理，具体包括：

数据标准管理：建立企业级大数据平台系统数据标准体系和支撑平台，并制定

数据标准运维管控制度和流程。

元数据管理：降低元数据使用难度、提升用户体验，使大数据平台各类用户均

能参与到元数据运营维护当中。

数据质量管理：为内、外部用户提供平台化的数据质量监控；通过扩充和优化

公共规则库、增强后台对不同类型数据仓库和非结构化数据的兼容性，提升用户

使用感受；并提供数据质量应用满足个性化需求。

数据资产管理：重点建设从规划、注册、运维到注销的全流程管理功能，使数

据资产管理系统化、可视化。

数据安全管理：建立体系化的数据安全策略，通过用户安全管理、数据安全管

理实现全方位数据安全管控机制，通过技术手段与管理措施落实数据安全，做到

事前可