Hadoop安装部署手册.docxVIP

1安 装 环 境 介 绍 1.1软件环境 Ce ntOS6.5 x64 Jdk 1.7 x64 Hadoop 2.6.2 x64 Hbase-0.98.9 Zookeeper-3.4.6 1.2集群环境 集群中包括 3个节点：1个Master, 2个Slave 机器名称 IP地址 Hadoop ZooKeeper myid Hbase Master.Hadoop 50 NameNode server.1 1 HMaser Slave1.Hadoop 51 DataNode server.2 2 HRegion Server Slave2.Hadoop 52 DataNode server.3 3 HRegion Server 2安装前的准备 2.1下载JDK 下载 Hadoop hadoop-260.tar.gz是发行包，但只有 32位 hadoop-260-src.tar.gz是源码包，用于自己编译成 64位版本 下载 Zookeeper 下载 Hbase 3开始安装 3.1 Cen tOS安装配置 安装3台CentOS6.5 x64 (使用Basic Server模式，其他使用默认配置，安装过 程略) Master.Hadoop 配置 a) 配置网络 修改为: 保存，退出(esc+:wq+enter )，使配置生效 b) 配置主机名 修改为: 保存，退出(esc+:wq+enter )，使配置生效 c）配置 hosts 修改为: d）关闭系统防火墙 e）禁止 SELINUX 修改为: 在最后增加如下内容 修改以下文件: 增加如下内容： 以上调整，需要重启系统才能生 g）配置用户 新建hadoop用户和组，设置 hadoop用户密码 h） 无密码密钥对 切换到hadoop用户，生成密码对  生成其无密码密钥对，询问其保存路径时直接回车采用默认路径。生成的密钥对: id_rsa 禾口 id_rsa.pub，默认存储在/home/hadoop/.ssh 目录下。 a) 把id_rsa.pub追加到授权的 key里面去 b) 修改.ssh目录的权限以及 authorized_keys 的权限 c) 用root用户登录服务器修改 SSH配置文件/etc/ssh/sshd_config的下列内容 其中三行内容改为启用，如下所示 保存，退出(esc+:wq+enter )，重新启动 SSH服务，使设置生效 3) Slave1.Hadoop、Slave1.Hadoop 配置 相同的方式配置 Slave1和Slave2的IP地址，主机名和hosts文件，新建hadoop 用户和组及用户密码等等操作 机器名称 IP地址 Slave1.Hadoop 51 Slave2.Hadoop 52 3.2无密码登陆配置 配置Master无密码登录所有 Slave 使用 hadoop 用户登陆 Master.Hadoop 把公钥复制所有的 Slave机器上。使用下面的命令格式进行复制公钥 c) 在Slave机器上进行配置 测试Master 到 Slave的ssh登陆 配置Slave无密码登录Master 使用hadoop用户登陆 Slave 把公钥复制Master机器上。使用下面的命令格式进行复制公钥 c) 在Master机器上将公钥追加到 authorized_keys 中 测试Slave至U Master的ssh登陆 3.3安装JDK 所有的机器上都要安装 JDK，先在Master服务器安装，然后其他服务器按照步骤重复 进行即可。安装 JDK以及配置环境变量，需要以 root的身份进行。 1)将 jdk 安装包 jdk-7u71-linux-x64.tar.gz 上传到服务器 /usr/local/ 目录下 2)解压缩文件 配置环境变量 增加如下内容: 保存，退出(esc+:wq+enter )，使配置生效 4)验证是否安装成功  5）删除jdk的安装包 6） 在Slave上重复以上步骤，安装 JDK （以下为从 Master复制jdk到Slave ） 安装 Hadoop 因为官网没有64位版的haoop2.6.0发行包，需要手动由源代码编译（编译过程另附 文件说明），编译后的文件为 hadoop-260.tar.gz ，以下使用root身份进行安装。 1） 将hadoop安装包hadoop-260.tar.gz 上传到服务器/usr/local/目录下 2） 解压缩文件 3）在/usr/local/hadoop-2.6.0下面创建 tmp 文件夹 4）编辑 HADOOP_HOME/etc/hadoop/hadoop-e nv.sh 修改JAVA_HOME 的配置: 5）编辑 HADOOP_HOME/etc/hadoop/core-site.