大数据治理平台解决方案.pptx

大数据治理平台解决方案·二零二二据治理平台运营保障大数据治理背景数据治理平台建设方案数据治理应用场景目录 MU LU01大数据治理背景大数据时代到来，我们已被海量数据信息包围研发数据舆情信息电信持有大量用户数据，对数据资产的售出，将成为行业的新增长点。金融各行业的金融信息流可结合第三方数据，更深入分析客户情况。制造从传统制造到互联网+的转型，大数据是核心动力政府大数据已经成为国家战略，政府机构大数据将能够更好的治理社会电力大数据资产已经成为电力行业的关注重点，利用大数据在生产，营销，物资等多方面提高效率监测数据刑侦信息广告数据舆情数据数据用户信息风险信息第三方数据搜索数据管理数据社交数据现阶段我们已经应用了很多大数据技术实施了大数据项目，所采用的技术众多大数据存储应用广泛，具备大数据必备因素现阶段大数据技术Hive、Spark、Storm、Hbase已使用广泛，解决了大数据存储问题。模型算法ETL工具、FLUME组件负责大数据交换问题大数据存储数据的传输问题也有大数据组件解决，如Flume，主流ETL工具等。HBase列存储SparkStorm流处理数据BI、数据挖掘通过数据BI软件、数据分析挖掘通过大数据平台的相关组件也可以进行相关分析。BI分析数据挖掘Hive现阶段已经有了众多的大数据技术团队众多数据建设厂商，还缺哪个？数据产品厂商，缺乏场景使用经验数据平台厂商与数据应用厂商往往不是一家，平台厂商缺乏数据应用建设经验。平台提供商数据提供商产品提供商数据分析厂商数据应用厂商不能理解平台内数据业务含义具有涉密数据开发资质的厂商有限，但并不了解大数据平台内部数据的含义。我们还需要哪些数据建设厂商？解决方案提供商业务算法提供商各厂商之间交换的数据质量得不到保证大数据建设项目被分为数据平台、应用、业务等多个独立项目和厂商，之间的衔接部分没有人管理，造成数据质量差。能否有效的解决大数据快速、透明化的使用管理需求技术需求业务需求大数据平台没有创新需求点数据使用者无法理解数据模型平台建设厂商不懂数据拿到的使用数据根本没法用……大文件数据传输慢大数据量实时传输没有解决方案没有统一的技术管理平台跨平台数据问题无法追述……众多大数据厂商难以协调厂商管理之间的空隙没填补数据质量问题来回推诿……业务需求集中响应需要全面支撑的落地平台需要专业的大数据管理团队02数据治理平台应用场景大数据平台化的发展趋势与现状传统的应用按照业务建设，一个厂商需要负责数据采集、存储、数据应用等全部过程；大数据时代，技术更加专注和专业，系统建设趋势是采用横向切分模式。数据中心集中建设需要解决“应用和平台分离”建设模式带来的新问题。应用百花齐放应用：我有数据分析经验，但是我拿不到高质量的数据。目前拿到的数据不能用。数据应用数据应用数据应用厂商Z：我只是提供数据共享平台，厂商X的数据特性平台无法支持，产品不能动。访问层厂商 Z厂商Y：我只是提供数据存储平台，不了解业务建设需求。存储层厂商 Y厂商X：只了解业务系统特性，对于大数据平台需求平台产品特性不清楚。数据源厂商 X大数据项目实施中遇到的哪些问题？数据应用厂商管理不规范：数据模型管理缺乏规范化体系，大数据平台内数据的技术、业务属性不清晰，没有完善的数据模型管理体系与规范。管理数据使用数据挖掘BI分析实时同步批量导入使用不明确：由于数据业务特性与使用方法不统一，难以对结构化数据、半结构化、非结构化数据的快速集成和共享。使用2数据服务数据服务数据接入31数据管理质量监控大数据平台监控不到位：在实际数据运行中，会出现数据信息发生中断异常或数据量发生突然变化等数据异常监控。无法通过传统的监控手段及时发现。监控专题数据区大数据平台 建设厂商基础数据区电商电信政府个人数据源场景一：建好数据管理体系，快速识别数据我的数据都在哪里？建议：1. 自动化获取元数据信息通过自动化采集与解析手段，建立技术、业务、过程元数据的注册输入，标明数据方位。2.标明数据方位，整理业务属性将数据资产按业务属性编目，梳理数据的属性、共享方式、特性、映射。3：建立业务数据服务目录以数据资产为驱动方式，实现数据集成和共享。建立数据服务目录。元元模型数据的业务特点是？元模型我该找谁要数据？数据使用数据分析如何快速识别数据？大数据平台数据挖掘数据资产模型数据接口…如何自动化管理？如何快速找到样例数据？……场景二：建立专业的数据共享通道，高效使用数据批量数据交换？资源实例我需要秒级更新数据？大数据资源空间资源服务数据太大无法传？ 建议：1.梳理数据交换需求梳理数据集成、交换需求。按技术特征划分为实时、准实时、批量等。2.数据资产与服务对接基于数据资产的数据开发，实现资产与数据服务的对接。通过服务目录直接获取所需数据。数据库服务数据资产服务数据资源服务