2022银河麒麟服务器操作系统hadoop适配手册.docx

银河麒麟服务器操作系统V4Hadoop软件适配手册

2022年5月

银河麒麟服务器操作系统V4

银河麒麟服务器操作系统V4hadoop软件适配手册

I

I

目录

TOC\o1-2\h\z\u目录 I

概述 2

系统概述 2

环境概述 2

HADOOP软件简介 2

HDFS架构原理 2

MAPREDUCE介绍 3

YARN介绍 4

HADOOP软件适配 4

解压HADOOP软件 4

配置文件修改 4

配置HADOOP-ENV.SH 4

配置YARN-ENV.SH 5

配置CORE-SITE.XML 5

配置HDFS-SIZE.XML 5

配置MAPRED-SITE.XML 6

配置YARN-SITE.XML 6

配置SLAVES 7

格式化并启动集群 7

格式化NAMENODE 7

启动NAMENODE和DATANODE守护进程 7

启动RESOURCEMANAGER和NODEMANAGER守护进程 7

执行WORDCOUNT测试用例 7

银河麒麟服务器操作系统V4

银河麒麟服务器操作系统V4hadoop软件适配手册

PAGE

PAGE2

概述

系统概述

银河麒麟服务器操作系统主要面向军队综合电子信息系统、金融系统以及电力系统等国家关键行业的服务器应用领域，突出高安全性、高可用性、高效数据处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主可控服务器操作系统。

环境概述

服务器型号

长城信安擎天DF720服务器

CPU类型

飞腾2000+处理器

操作系统版本

Kylin-4.0.2-server-sp2-2000Z1

内核版本

4.4.131

hadoop版本

2.7.7

Hadoop软件简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

Hadoop实现了一个分布式文件系统（HadoopDistributedFileSystem），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（highthroughput）来访问应用程序的数据，适合那些有着超大数据集（largedataset）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streamingaccess）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

HDFS架构原理

HDFS是Hadoop分布式文件系统（HadoopDistributedFileSystem）的缩写，为分布式计算存储提供了底层支持。采用Java语言开发，可以部署在多种普通的廉价机器上，以集群处理数量积达到大型主机处理性能。

HDFS采用master/slave架构。一个HDFS集群包含一个单独的NameNode

和多个DataNode。

NameNode作为master服务，它负责管理文件系统的命名空间和客户端对文件的访问。NameNode会保存文件系统的具体信息，包括文件信息、文件被分割成具体block块的信息、以及每一个block块归属的DataNode的信息。对于整个集群来说，HDFS通过NameNode对用户提供了一个单一的命名空间。

DataNode作为slave服务，在集群中可以存在多个。通常每一个DataNode都对应于一个物理节点。DataNode负责管理节点上它们拥有的存储，它将存储划分为多个block块，管理block块信息，同时周期性的将其所有的block块信息发送给NameNode。

MapReduce介绍

MapReduce是一种计算模型，该模型可以将大型数据处理任务分解成很多单个的、可以在服务器集群中并行执行的任务，而这些任务的计算结果可以合并在一起来计算最终的结果。简而言之，Hadoop