腾讯在Spark上的应用与实践优化.pdf

腾讯在Spark上的应用与实践优化 王联辉 Agenda  Spark在腾讯的当前现状  Spark在腾讯的典型应用及效果  腾讯在Spark上的实践和优化  未来工作和计划 TDW(Tencent Distributed Data Warehouse) Overview User  Gaia集群结点数: 8000+ IDE Lhoste(Workflow System)  HDFS的存储空间: 150PB+ User defined jobs Hive/Pig  每天新增数据: 1PB+ (Scala/Java/Python/) MapReduce Spark Storm Docker  每天仸务数: 1M+  每天计算量: 10PB+ GAIA(Based on YARN) HDFS IDE: 用于提交SQL戒脚本的Eclipse插件和Web界面 Lhoste: 各类作业的工作流调度系统，类似于Oozie GAIA: 基于YARN进行定制和优化的资源管理系统 为什么我们引入Spark? M M M M M R R M M M R  DAG计算引擎 HDFS R R HDFS M M M M  Data Cache Sharing R R R  其他: task调度，数据广播等 HDFS R M M R iter.1 result1 iter.1 result1 HDFS iter.2 result2 HDFS iter.2 result2 iter.3 result3 iter.3 result3 Spark在腾讯的当前现状  作业类型：ETL,SparkSQL,Machine Learning,Graph Compute,Streaming  每天仸务数：10K+  部署模式：Gaia(8000+ Nodes,with 24 cores and 60G memory each)  底层存储: HDFS/Hive/HBase/MySQL/  从2013年的Spark