大数据平台基础组件介绍.pptx

大数据平台基础组件（HDFS、HBase、MapReduce、Yarn）介绍;目录; ;Hadoop 框架及应用堆栈;;;目录;7;HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，适合运行在通用硬件上的分布式文件系统。其除具备其它分布式文件系统相同特性外，还有自己特有的特性： 高容错性：认为硬件总是不可靠的 高吞吐量：为大量数据访问应用提供高吞吐量支持 大文件存储：支持存储TB-PB级别的数据 ;HDFS是Hadoop技术框架中的分布式文件系统，对部署在多台独立物理机器上的文件进行管理。 主要应用于以下几种场景： 网站用户行为数据存储分析 生态系统数据存储分析 气象数据存储分析 ;系统设计目标;基本系统架构;HDFS数据读取流程;HDFS数据写入流程;HDFS数据写入流程;HDFS架构关键设计;HDFS联邦（Federation）;数据副本机制;元数据持久化健壮机制;HDFS高可靠性;配置HDFS数据存储策略-标签存储;;HDFS总结－分布式文件系统;目录;HBase 基本介绍 1.1 HBase 基本定义 1.2 HBase 应用场景 1.3 HBase 产品定位 1.4 数据结构介绍 HBase 功能与架构;1.1 HBase基本定义;与关系型数据库RMDB比较;HBase适合具有如下需求的应用： 海量数据（TB、PB） 高吞吐量 需要在海量数据中实现高效的随机读取 需要很好的性能伸缩能力 能够同时处理结构化和非结构化的数据 不需要完全拥有传统关系型数据库所具备的ACID特性;1.3 HBase产品定位;1.4 数据结构介绍;按行存储/按列存储;KeyValue结构(1);;HBase 基本介绍 HBase 系统架构 2.1 HBase架构介绍 2.2 基本概念 —— Region 2.3 角色介绍 —— RegionServer 2.4 角色介绍 —— HMaster 2.5 HBase数据模型;2.1 HBase架构介绍;2.2 基本概念 —— Region(区域）;2.3 角色介绍 —— RegionServer;基本概念 —— Region分类;2.4 角色介绍 —— HMaster;ZooKeeper;2.5 HBase数据模型–Column Family(列族) ;HBase数据模型 – KeyVaue ;HBase原理简介－分布式数据库;目录;MapReduce原理简介－分布式计算架构;MapReduce 应用场景;MapReduce的过程-图解MR;Yarn在产品中定位;Yarn逻辑架构;Yarn的组件架构;资源表示模型;资源分配模型;容量调度器的介绍;容量调度器的特点;容量调度器的任务选择;用户限制;标签调度，应用感知的精细化调度;资源配??周期调整，资源错峰共享;目录;;华为大数据方案：提供大数据存储、处理、分析和消费平台;公安：大数据实现在海量数据中快速检索出价值信息;公安领域（实时监控）;公安领域（实时监控）;公安领域（全文检索）;公安领域（全文检索）;谢谢