让数据说话-Spark在TalkingData中的应用.pdfVIP

-Spark在TalkingData的应用 志涛 alkingData研发副总裁 目录目录  关于TalkingData  为什么使用Spark？  Sppark在TalkinggData的使用场景？  目前面临的问题?  关于DMP 于TalkingData • 成立于成立年 • 服务超过10万款移动应用，以及8万多应用用开发者 • 每天处理超过10T的数据 •• 服务于招商银行服务于招商银行、平安平安、泰康泰康、卓越地产等卓越地产等等等企业级客户等等企业级客户 • 国内比较早使用Spark的大数据公司 什么使用Spark 什么使用Spark 从Strata大数据大会了 2013年初 解了解了SparkSpark 公司数据积累到公司数据积累到一定规定规 2013年年8月 模，尝试数据利用 尝试使用Spark做机器 2013年 10月 学习 数 据 利 用 全 面 转 向 Spark 年年年55月月 park在TalkingData的使用场景 数据落盘 清洗加工 批量计算 数据探索 机器学习 TTalkilkingDData DMPDMP 们现在面临的问题 Spark很不错，不过从数据的视角角看，需要更多  数据资产可以管理数据资产可以管理 ，数据世代可以追踪数据世代可以追踪踪踪  数据质量的管理和控制  方便的数据加工流程编织方便的数据加工流程编织  数据访问的认证、授权、安全控制、审审计  方便的数据探索能力和数据应用开发能方便的数据探索能力和数据应用开发能能力能力  交互式的分析能力  计算资源的分配计算资源的分配、以及使用统计以及使用统计  可配置数据接入和数据输出  数据服务化数据服务化  监控和运维能力 于DMP 标签管理 人群管理 微观分析 潜客获取 营销活动 TD大数据应 大数据采集 大数据整合 大数据据计算 大数据分析 线上应用数据采集 基本属性整合 用户用户户计算户计算 用户分析用户分析 TD大数据管 业务系统数据采集 元数据管理 标签签计算 标签分析 第三方数据采集第三方数据采集 ETL 大数据可视化 大数据计算 大数据