Hadoop安装部署手册.doc

安装环境简介

软件环境

CentOS6.5x64

Jdk1.7x64

Hadoop2.6.2x64

Hbase-0.98.9

Zookeeper-3.4.6

集群环境

集群中包括3个节点：1个Master，2个Slave

机器名称

IP地址

Hadoop

ZooKeeper

myid

Hbase

Master.Hadoop

10.1.11.150

NameNode

server.1

1

HMaser

Slave1.Hadoop?

10.1.11.151?

DataNode

server.2

2

HRegionServer

Slave2.Hadoop?

10.1.11.152?

DataNode

server.3

3

HRegionServer

安装前旳准备

下载JDK

下载Hadoop

hadoop-2.6.0.tar.gz是发行包，但只有32位

hadoop-2.6.0-src.tar.gz是源码包，用于自己编译成64位版本

下载Zookeeper

下载Hbase

开始安装

CentOS安装配置

安装3台CentOS6.5x64（使用BasicServer模式，其他使用默认配置，安装过程略）

Master.Hadoop配置

配置网络

vi/etc/sysconfig/network-scripts/ifcfg-eth0

vi/etc/sysconfig/network-scripts/ifcfg-eth0

修改为：

DEVICE=eth0

DEVICE=eth0

ONBOOT=yes

BOOTPROTO=static

IPADDR=10.1.11.150

NETMASK=255.255.255.0

GATEWAY=10.1.11.254

保留，退出（esc+:wq+enter），使配置生效

servicenetworkrestart

servicenetworkrestart

配置主机名

vi/etc/sysconfig/network

vi/etc/sysconfig/network

NETWORKING=yesHOSTNAME=

NETWORKING=yes

HOSTNAME=Master.Hadoop

保留，退出（esc+:wq+enter），使配置生效

hostnameMaster.Hadoop

hostnameMaster.Hadoop

配置hosts

vi/etc/hosts

vi/etc/hosts

修改为：

10.1.11.150Master.Hadoop

10.1.11.150Master.Hadoop

10.1.11.151Slave1.Hadoop

10.1.11.152Slave2.Hadoop

关闭系统防火墙

serviceiptablesstop

serviceiptablesstop

chkconfigiptablesoff

严禁SELINUX

vi/etc/sysconfig/selinux

vi/etc/sysconfig/selinux

修改为：

#SELINUX=enforcing

#SELINUX=enforcing

SELINUX=disabled

调整系统文献限制

vi/etc/security/limits.conf

vi/etc/security/limits.conf

在最终增长如下内容

*softnofile65535

*softnofile65535

*hardnofile65535

vi/etc/pam.d/login修改

vi/etc/pam.d/login

增长如下内容：

s

sessionrequired/lib/security/pam_limits.so

以上调整，需要重启系统才能生效

配置顾客

新建hadoop顾客和组，设置hadoop顾客密码

groupaddhadoop

groupaddhadoop

useraddhadoop-gHadoop

passwdhadoop

无密码密钥对

切换到hadoop顾客，生成密码对

su

suHadoop

ssh-keygen-trsa-P

生成其无密码密钥对，问询其保留途径时直接回车采用默认途径。生成旳密钥对：id_rsa和id_rsa.pub，默认存储在/home/hadoop/.ssh目录下。

把id_rsa.pub追加到授权旳key里面去

cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys

cat~/.ssh/id_rsa.pub~/.ssh/authorized_keys

修改.ssh目录旳权限以