数据治理与大数据平台设计.pptx

数据治理大数据平台设计

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计

数据治理背景1大数据时代凸现数据重要性数据治理是大数据的基础23信息孤岛现象严重数据质量问题严重45数据应用未得到有效管理6数据安全问题日益严峻数据治理

意识到了问题的严重1数据治理现状2 “维持”代替“管理”历史“包袱”沉重3相关方利益交织，协调困难4方案规划容易，落地困难5过度依赖技术工具6

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计

数据治理要素组织Organization流程、活动与机制ProcessActivitiesMechanism技术平台与工具PlatformTools计划、制度与标准规范PlanRuleStandards

数据治理策略获得支持引入外援找到“痛点”确定“起点”责任到人持之以恒绩效评估

经验总结实事求是确定方法做好绩效标准先行使用工具奖惩机制数据治理

实施建议*数据质量提升是目标*主数据管理是关键*元数据管理是基础

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计

什么是元数据元数据的定义技术元数据业务元数据操作元数据

为什么要进行元数据管理1Why?23456数据的参考框架解决数据模糊性可视化数据流动影响和血缘分析推进标准化建设规范化数据审计

经验分享全局治理尽快见效高层支持业务参与1.2.3.4.5.6.奖惩机制标准先行

数据定义标准化分类词数量月销售量月销售 量＋ ＋标准单词对象词素 词素 词素词素分析原属性名(标准化对象)标准单词月度销售数量标准域数量类型：数字型长度：19，0标准用语月度销售数量类型：数字型长度：19，0数量＋修饰词标准单词 标准单词月度 销售标准单词分类词(域)

数据定义标准体系标准体系标准单词标准域标准用语

数据模型标准化结构实体、属性、关系、主键，范式化等命名规则、用语词典、标准域等管理数据管理政策、方针等配置管理、版本管理等质量准确性、完整性、实时性、一致性应用查询结果的准确性、使用便利性、查询结果的迅速性模型设计标准

实施路线模型优化模型诊断设计规范设计指南

元数据管理系统可使用可管理可控制模型要素关系定义规则注册元数据库脚本同步指导数据库设计审核、评估、发布提交反馈标准化体系（数据定义模型设计）元数据服务标准规范制定完善引用

元数据管理工具的选择元模型易于扩展界面友好安全和系统管理配置管理发布、查询、报表功能平台开放提前试用

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计

什么是主数据企业主数据分散存储在企业各系统内，对企业至关重要的核心业务实体的数据，比如客户、合作伙伴、员工等关键分散缓慢共享

主数据类型当事人事物地域财务和组织

主数据与参考数据参考数据可以是主数据，但不一定是主数据

为什么要作主数据管理数据冗余难亍应变阻碍业务数据冲突Why?

如何做好主数据管理经常遇到的问题

如何做好主数据管理识别并管理主数据相关方整理并分析主数据的生命周期识别主数据含义、上下文、类型

主数据实施流程运行维护项目实施主数据识别数据梳理项目实施要点选择工具定制开发制定标准规范确定组织架构

注册准入废弃维护审批申请访问服务查 询匹配查重数据校验安全管理ERPCRM人事财务……标准规范主数据管理系统管理流程组织机构统一数据共享强化决策支持提升数据质量主数据管理体系数据导入数据分发版本管理通知

议程数据治理的背景和现状数据治理策略元数据管理主数据管理数据质量管理大数据平台设计

数据质量问题2、数据的定义1、数据的值域6、结构完整性5、业务规则8、数据流7、数据转换数据质量3、数据的完整性4、数据的有效性

组织架构设计评审委员会技术主管部门业务部门统计部门（业务部门）负责业务规则的制定，在业务层面统管数据质量和安全。技术部门负责数据集成、使用等过程中的数据质量，并对数据质量报告进行定期发布。技术部门设置评审委员会，对数据方面的变更进行管控，具备技术方案否决权。业务与技术部门各司其职，共同做好数据质量管理工作

数据质量治理流程数据录入/质量检查生产库 后台库一级检控复制数据仓库ETL二级检控短信通知短信通知录入修改应用服务确认技术主管部门《数据质量管理规范》业务部门管理员

策略和方法策略Descriptionofthecontents方法反 影响和正面的效果征得了领导层关注分布实施，循序渐进数据质量报告定期发布需求和架构经过严格评审结构变更需要进行严格评估变更时，通报所有相关方