hadoop0.20.2集群配置.doc

搭建一个hadoop集群包括： 1个namenode个datanonde vi /etc/sysconfig/network 添加内容： NETWORKING yes HOSTNAME master 85配置 vi /etc/sysconfig/network 添加内容： NETWORKING yes HOSTNAME slaves1 86配置 vi /etc/sysconfig/network 添加内容： NETWORKING yes HOSTNAME slaves2 vi /etc/hosts 要将文件的前两行注释掉 注释当前主机的信息 并在文件中添加所有hadoop集群的主机信息 把hosts文件copy到其余2台服务器 scp /etc/hosts?root@85:/etc/ 然后分别执行 /bin/hostsname hostsname 例如：master上执行 /bin/hostsname master，使之生效。 配置无密码ssh各服务器 在执行操作：ssh-keygen?-t?rsa，然后一直回车在//.ssh/目录下生成了两个文件?id_rsa?和?id_rsa.pubcp?id_rsa.pub?authorized_keys 先所有authorized_keys合并cat?~/.ssh/authorized_keys?|?ssh?root@67?cat? ?~/.ssh/authorized_keys 然后复制分发到其他服务器（若没有.ssh文件夹需要自行创建）scp?authorized_keys?root@85:/root/.ssh/ 验证能否无密码ssh，在master服务器上执行操作：注意：第一次可能会提示输入yes?or?no，之后就可以直接ssh到其他主机上去了。 rpm -qa|grep jdk 卸载jdk：rpm -e --nodeps java-1.6.0-openjdk-javadoc--3.0.el6.x86_64 安装JDK（三台机器都要安装） 安装在同一位置/opt/java/jdk1.7.0_72 下载JDK 解压JDK ： tar -zxvf /opt/java/jdk-7u72-linux-x64.gz 配置环境变量： 编辑profile文件：vi /etc/profile 在profile文件末尾添加以下代码： export JAVA_HOME /opt/java/jdk1.7.0_72 export JRE_HOME $JAVA_HOME/jre export PATH $JAVA_HOME/bin:$PATH export CLASSPATH .:$JAVA_HOME/lib:$JRE_HOME/lib 使得刚才编辑的文件生效：source /etc/profile 测试是否安装成功：java –version 安装hadoop 在master主机上配置hadoop 配置的位置：/opt/hadoop/hadoop-0.20.2 下载hadoop 解压hadoop：tar -zxvf /opt/hadoop/hadoop-0.20.2.tar.gz 配置配置文件hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xmlslaves、masters在hadoop-0.20.2/conf目录下，具体配置如下 hadoop-env.sh文件中加上jdk路径export?JAVA_HOME /usr/java/jdk1.6.0_21 core-site.xml文件： hdfs-site.xml文件： mapred-site.xml文件： slaves 在该文件中添加slavesslaves2 masters 在该文件中添加master 分发配置文件将主节点上配置好的程序文件，复制到分发到各个从节点上scp?-r?/opt/hadoop/hadoop-0.20.2?: /opt/hadoop/scp?-r?/opt/hadoop/hadoop-0.20.2?slaves2: /opt/hadoop/ 配置环境变量：（所有主机） 编辑profile文件：vi /etc/profile 在profile文件末尾添加以下代码： export HADOOP_HOME /opt/hadoop/hadoop-0.20.2 export PATH $PATH:$HADOOP_HOME/bin 使得刚才编辑的文件生效：source /etc/profile 启动hadoop进入hadoop文件夹，用如下命令格式化：./bin/hadoop?namenode?-format 注意：上面只要出现“success