华为大数据平台规划方案汇报材料.ppt

中国联合网络通信有限公司上海市分公司 业务平台运营中心 2019年2月10日 上海联通大数据平台规划方案汇报 目 录 二、大数据平台整体规划 一、大数据应用发展趋势 大数据 大数据对电信运营商的应用价值体现 上海联通数据平台现状 经过一二期的建设，精细化运营平台的数据中心，已经成为上海联通最大、内容最丰富的数据仓库； 随着数据量的增长，需要对基础架构做长远规划； 有必要深入挖掘数据价值，研究新的商业模式，将成本中心转化为利润中心 5 大数据处理的需求和特点 低成本运营 一体化运营 精细化运营 全网运营 实时、智能化运营 集中化建设、管理和维护 可不断线性扩展 提高资源综合利用率 标准化功能组件，可共享可复用 按业务量、按需支付 BASS与BOSS、CRM的一体化 BSS与MSS、OSS、VAS等跨域一体化 对外部客户和应用的一体化 片区化、网格化管理 长尾市场、小众市场的支撑 个性化、短周期需求的满足 异地客户、家庭客户、集团客户 一点接入、全网服务、全网客户画像 全国统一套餐、全网营销、 统一客服 实时数据获取、处理、分析 智能化主动事件触发 智能管道 移动互联网 业务运营发展趋势 对业务支撑平台的集中化要求 对数据架构的集中化要求 集中化、大容量、高扩展、高可用数据库平台：支持全网型数据、跨域数据的整合，形成集中化管理的的企业级数据中心 高性能：支持3G时代更高的实时性要求、支持 动态资源共享：支持多租户管理、资源动态按需供应 可重用、标准化组件：形成可重用组件，支持一次开发、各省共享的模式，形成规模型效益 数据集中化趋势使得运营商面临着海量数据的存储及分析问题，大数据在支撑移动业务发展趋势中，充当重要角色。 电信运营商数据集中化趋势 7 电信运营面临的大数据挑战 移动互联网和个人消费领域业务扩展和CEM导致海量数据的及时分析带来挑战 运营商一体化集中运营和透明管控，催生巨大的经营分析数据仓库，对大数据的存储、性能、开放带来挑战 DPI和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战 ICT融合，核心网络、运营支撑和VAS业务数据的融合催生海量User Profile并集，对大数据的关联分析计算效能带来挑战 移动互联网流量井喷与客户行为分析 业务融合、能力互通带来数据融合 提升客户体验要求分析网络服务数据 IT系统集中化和行业数据价值挖掘 BSS BI数据： 河南17个地市，每天抽取正常用户数7000多万，拨备用户数3000多万，DW层用户表总量1亿多条；语音清单每天2.7亿条数据，GPRS清单每天4.2亿条数据；账务每天4.7亿条数据 ；GPRS文件每个100M左右，其它文件25M。 日接口数据量：2000G，其中话单 220G，WAP清单 300G ， 工单服务 200G ， 用户、帐务 300G，其它980G。每月124TB数据量入库，历史数据保留1年，总数据量1.45PB。 按照用户数简单测算, 6.5亿用户下，总数据量 》 10PB! 联通总部3G互联网访问记录查询及分析系统： 全国每日新增10TB数据，每月近万亿条记录，要存放6个月，约 2PB的上网记录数据。上网记录入库时间小于30分钟， 原始上网记录保留6个月。上网查询速度不高于1秒，并发查询数1000请求/秒。 集群规模188个数据节点，存储容量2.6 PB 传统数据仓库无法有效存储日益增长的业务数据存储需求 基础数据 （用户资料，产品订购信息）： 15G/日*365+40G *12月 = 5T/年 考虑20%的业务增长率后为： 6T/年 用户上网数据 话单数据：250T/年 考虑20%的业务增长率后为：300T/年 MR数据 话单数据：634G/日 634G/日*365 = 227T/年 考虑20%的业务增长率后为：272T/年 BSS数据 新增 新增 评估中 随着业务发展数据量的增加，随着应用复杂导致的数据量增加，这些数据量导致了数据存储和处理压力； 数据仓库无法线性扩容，管理难度加大，成本高扩容压力大，效率下降等 传统数据仓库只保存处理后的汇总数据。在大数据架构下需要对用户原始话单进行长期保存。需要扩容大量存储空间。 大数据使得现有的数据处理方法面临新问题 　 用户层 现平台的数据保存周期 大数据的数据保存周期 应用层 KR/CB/DM层 永久保留 至少2年 数据存储层 MK层 永久保留 至少2年 DW层 5个月 永久保留 数据获取层 ODS层 3~7天 永久保留 面对海量的数据压力，需要大数据平台提供可供线性扩容的存储能力。 每个应用需求的变化就是一场灾难。由于数据处理与业务的紧密关联可能需要对中间每个处理环节进行逐个调整。重新生成数据的周期也非常缓慢。 由于传统数据仓库的数据处理流程与业务保持紧密关联。整个