电子支付大数据项目部署运维手册.docxVIP

电子支付项目部署运维手册

XX科技股份有限公司编制

目录

TOC\o1-3\h\z\u一、文章编写目的 3

二、前置准备 3

2.1配置网络ip 3

2.2编写相关操作脚本 6

1.批量执行命令脚本 6

2.批量重命名脚本 7

3.批量拷贝脚本 8

4.cm_migrate.sh 10

5.format2.sh 10

6.mountDisk.sh 10

7.network.sh 11

8.node.list 12

9.node.txt 12

2.3hostname及hosts配置 12

1.配置每台节点的hostname 12

2.配置节点ip、hostname映射 13

2.4禁用SELinux 13

2.5关闭防火墙 14

2.6设置swappiness 15

2.7关闭透明大页面 16

2.8配置操作系统本地yum源 17

2.9安装http服务 18

2.10集群时钟同步 20

1.所有机器卸载chrony 20

2.所有机器安装ntp 21

3.node1机器配置时钟与自己同步 21

4.集群其它节点，配置找node1机器去同步 21

5.重启所有机器的ntp服务 21

6.验证始终同步，在所有节点执行ntpq-p命令，如下使用脚本批量执行 21

2.11安装MariaDB 22

三、ClouderaManager安装 27

3.1配置本地CM源 27

3.2安装ClouderaManagerServer 29

四、CDH安装 31

4.1CDH集群安装向导 31

4.2集群设置安装向导 38

五、Kudu安装 42

六、将CDH集群JAVA升级至JDK8 46

6.1CM和CDH支持的JDK版本 46

6.2JDK8安装包准备 48

6.3部署JDK8到集群 50

6.4ClouderaManager配置 51

6.5验证集群JDK8使用 53

6.6编辑/etc/profile文件 53

6.7常见问题 53

七、spark2.3安装 54

7.1概述 54

7.2安装准备 55

7.3安装Spark2.3 58

7.4安装可能遇到的问题 62

7.5总结 65

八、可能遇到的问题 66

8.1.zookeeper启动不了 66

一、文章编写目的

本文档主要描述Cloudera电子支付项目平台的安装主要分为4个步骤：

集群服务器配置，包括安装操作系统、关闭防火墙、同步服务器时钟等，又称为集群安装的前置准备，关于更多前置条件准备也可以参考之前的的文档《CDH安装前置准备》；

安装ClouderaManager；

通过ClouderaManager的WebUI向导式安装CDH集群；

集群完整性检查，包括HDFS文件系统、MapReduce、Hive等是否可以正常运行。

本文操作说明基于以下假设：

操作系统版本：Redhat7.4

CDH和CM版本均为5.16.1

采用root对集群进行部署

您已经下载CDH和CM的安装包

二、前置准备

2.1配置网络ip

开启虚拟机，修改配置文件

输入如下命令

ll/etc/sysconfig/network-scripts/ifcfg-*

会出现如下内容（ifcfg-ens后面的名字可能不同）

-rw.1rootroot6168月1319:25/etc/sysconfig/network-scripts/ifcfg-en-rw-r--r--.1rootroot2541月32018/etc/sysconfig/network-scripts/ifcfg-lo

输入如下命令

vi/etc/sysconfig/network-scripts/ifcfg-en出现下图界面

[root@cm1network-scripts]#viifcfg-en#网络类型（通常是Ethernet）

TYPE=Ethernet

#IP的配置方法[none|static|bootp|dhcp]（引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议）

BOOTPROTO=dhcp

DEFROUTE=yes

IPV4_FAILURE_FATAL=no

IPV6INIT=yes