Hadoop入门及环境搭建.pptx

Hadoop入门及环境搭建 课程目标l掌握Hadoop核心概念l结合Vmware和Centos搭建Hadoop环境l在Hadoop上提交单词统计作业 01.Hadoop简介02.Hadoop核心03.实验环境准备04.Hadoop伪分布式环境搭建05.Hadoop验证与测试 Hadoop简介01 Hadoop概述lHadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。lHadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。lHadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 Hadoop生态圈 Hadoop相关项目lHBase: 类似Google BigTable的分布式NoSQL列数据库。lHive：数据仓库工具，由Facebook贡献。lZookeeper：分布式锁设施，提供类似Google Chubby的功能，由Facebook贡献。lAvro：新的数据序列化格式与传输工具，将逐步取代Hadoop原有的IPC机制。lPig:大数据分析平台，为用户提供多种接口。lAmbari：Hadoop管理工具，可以快捷的监控、部署、管理集群。lSqoop：于在HADOOP与传统的数据库间进行数据的传递。 Hadoop发行版本lApache?官方版本lCloudera?CDH是Cloudera的hadoop发行版，完全开源，比Apachehadoop在兼容性，安全性，稳定性上有增强。ClouderaManager是集群的软件分发及管理监控平台，可以在几个小时内部署好一个hadoop集群，并对集群的节点及服务进行实时监控。ClouderaSupport即是对hadoop的技术支持。lHortonworks?Hortonworks的主打产品是HortonworksDataPlatform(HDP)，也同样是100%开源的产品，其版本特点：HDP包括稳定版本的ApacheHadoop的所有关键组件;安装方便，HDP包括一个现代化的，直观的用户界面的安装和配置工具。l华为hadoop发行版（FusionInsight）?华为的hadoop版本基于自研的HadoopHA平台，构建NameNode、JobTracker、HiveServer的HA功能，进程故障后系统自动Failover，无需人工干预。 Hadoop核心02 HadoopCommon?The common utilities that support the other Hadoop modules.（通用工具集）HadoopDistributedFileSystem(HDFS)?A distributed file system that provides high-throughput access to application data.（分布式存储）HadoopYarn?A framework for job scheduling and cluster resource management.（作业调度和资源管理）HadoopMapReduce?A YARN-based system for parallel processing of large data sets.（分布式计算）Hadoop模块组成 ?负责对数据的分布式存储，主从结构?主节点（Namenode）?可以有2个，负责内容：?（1）接收用户的请求操作，是用户操作的入口?（2）维护文件系统的目录结构，称为命名空间?从节点（Datanode）?至少一个，只干一件事：存储数据Hadoop模块—HDFS架构 ?是一个资源的调度和管理平台，也是主从结构?主节点（ResourceManager）?可以有2个，主要负责：?（1）集群资源的分配和调度?（2）MR、Storm、Spark等应用，要想被RM管理，必须实现ApplicationMaster接口?从节点（NodeManager）?可以有多个，主要就是单节点资源的管理。Hadoop模块—Yarn架构 Hadoop模块—MapReduce架构l依赖于磁盘IO的批处理计算模型，只有一个主节点——MRAppMaster，主要负责：?（1）接收客户端提交的计算任务?（2）把计算任务分给NodeManager中的Cont