课程主题HDFS高可用大数据应用开发课程.pptx

大数据应用开发课程现代殡葬技术与管理专业群教学资源库主讲人：陈为满课程主题：HDFS高可用

CONTENTSCONTENTS一HDFS的高可用架构二搭建Hadoop高可用集群

在HDFS分布式文件系统中，NameNode是系统核心节点，存储各类元数据信息，并负责管理文件系统的命名空间和客户端对文件的访问。若NameNode发生故障，会导致整个Hadoop集群不可用，即单点故障问题。为了解决单点故障，Hadoop2.0中HDFS中增加了对高可用的支持。一HDFS的高可用架构

在高可用HDFS中，通常有两台或两台以上机器充当NameNode，无论何时，都要保证至少有一台处于活动（Active）状态，一台处于备用（Standby）状态。Zookeeper为HDFS集群提供自动故障转移的服务，给每个NameNode都分配一个故障恢复控制器（简称ZKFC），用于监控NameNode状态。若NameNode发生故障，Zookeeper通知备用NameNode启动，使其成为活动状态处理客户端请求，从而实现高可用。一HDFS的高可用架构

HDFS的高可用架构一HDFS的高可用架构

部署集群节点01HDFS的高可用集群是由三台虚拟机部署，具体部署情况如下所示。服务器NameNodeDataNodeResourceManagerNodeManagerJournalNodesZookeeperZKFCnode-01√√√√√√√node-02√√√√√√√node-03√√√√二搭建Hadoop高可用集群

环境准备02搭建普通Hadoop集群（参考第2章完成即可）。需要注意的是，原有虚拟机系统主机名为hadoop01，建议初学者在搭建HadoopHA集群时重新安装虚拟机，以此来巩固前面所学知识，并将三台虚拟主机名设置为node-01、node-02和node-03。二搭建Hadoop高可用集群

配置Hadoop高可用集群031修改core-site.xml文件，配置HDFS端口、指定Hadoop的临时目录和Zookeeper集群地址。2修改hdfs-site.xml文件，配置NameNode端口和通信方式，并指定元数据存放位置及开启失败自动切换服务，配置隔离机制方法。3修改mapred-site.xml文件，将MapReduce计算框架指定为yarn方式。二搭建Hadoop高可用集群

配置Hadoop高可用集群034修改yarn-site.xml文件，开启ResourceManager高可用，指定ResourceManager端口名及其地址，并配置Zookeeper集群地址。5修改slaves，配置集群主机名称。6修改hadoop-env.sh，配置JDK环境变量，将配置好的文件分发传送给node-02，node-03机器中并进行相关配置。二搭建Hadoop高可用集群

启动Hadoop高可用集群041启动集群各个节点的Zookeeper服务。2启动集群各个节点监控NameNode的管理日志的JournalNode。3在node-01节点格式化NameNode，并将格式化后的目录拷贝到node-02中。二搭建Hadoop高可用集群

启动Hadoop高可用集群044在node-01上执行“hdfszkfc-formatZK”命令，进行格式化ZKFC。5在node-01节点上执行“start-dfs.sh”命令启动HDFS。6在node-01节点上执行“start-yarn.sh”命令启动YARN。二搭建Hadoop高可用集群

感谢聆听，批评指导