大数据处框架之spark.pptVIP

大数据处理框架之spark 分享人：黄宇鹏 目录 背景 Hadoop回顾 Spark简介 Spark原理 Spark on Yarn Yarn 生态系统 建议 背景 大数据时代 Hadoop在数据挖掘中的不足 多次迭代，I/O延时大 中间结果的序列化和反序列化 简单的MR模式 VS 复杂的数据挖掘算法 函数式编程 图计算 Hadoop回顾 MapReduce过程 Map()函数 Reduce()函数 执行一次，结果写入磁盘 Shuffle过程 序列化和反序列化 写磁盘 Spark简介 基于内存的分布式计算框架 适合多次迭代的计算 支持多种操作，例如：map，filter，join等 提供多种数据处理工具，SQL，Streaming等 支持多种开发语言Scala，java，python. 与hadoop结合进行数据处理 对hdfs,hive,hbase进行访问 处理速度快 Spark 简介 运行模式 Standalone模式 Spark On Mesos模式 Spark On Yarn模式 Spark 原理 Spark主从结构 Driver 任务调度 容错处理 Worker 执行各种操作 保存数据 Spark 原理 RDD（Resilient Distributed Datasets） 弹性分布式数据集：一个只读、可分区的记录集合（对象） 可进行多种操作：transformation(map,filter等）和action（count，save等） 可持久化和进行分区 DAG(Directed Acyclic Graph) RDD依赖关系 Spark原理 Spark调度过程 Spark on Yarn Spark在Yarn的执行 Yarn简介 资源管理器 任务调度（多种调度算法） 资源分配（cpu，内存等） 可以运行多种分布式计算平台 Hadoop Spark Storm … Yarn 生态系统 建议 大数据处理平台 计算机基础 深入底层源码 读论文、结合应用 模型和算法 数学基础（高数、统计学、线代等） 深入模型与求解方法 多读论文、结合应用（利用大数据平台）