《Hadoop系统搭建及项目实践》课后习题答案 .pdf

项目1Hadoop基础知识

1.Hadoop是由哪个项目发展来的？

答：2002年，开源组织Apache成立开源搜索引擎项目Nutch，但在Nutch开发过程中，

始终无法有效地将计算任务分配到多台计算机上。2004年前后，Google陆续发表三大论文

GFS、MapReduce和BigTable。于是Apache在其Nutch里借鉴了GFS和MapReduce思想，

实现了Nutch版的NDFS和MapReduce。但Nutch项目侧重搜索，而NDFS和MapReduce则

更像是分布式基础架构，因此，2006年，开发人员将NDFS和MapReduce移出Nutch，形成

独立项目，称为Hadoop。

2.Hadoop主要有哪些版本？

答：目前Hadoop的发行版除了Apache的开源版本之外，还有华为发行版、Intel发行

版、Cloudera发行版(CDH)、Hortonworks发行版（HDP）、MapR等，所有这些发行版均是基

于ApacheHadoop衍生出来的。

ApacheHadoop版本分为两代，第一代Hadoop称为Hadoop1.0，第二代Hadoop称为

Hadoop2.0。第一代Hadoop包含三个大版本，分别是0.20.x，0.21.x和0.22.x，其中，0.20.x

最后演化成1.0.x，变成了稳定版，而0.21.x和0.22.x增加了NameNodeHA等新的重大特性。

第二代Hadoop包含两个版本，分别是0.23.x和2.x，它们完全不同于Hadoop1.0，是一套

全新的架构，均包含HDFSFederation和YARN两个系统，相比于0.23.x，2.x增加了

NameNodeHA和Wire-compatibility两个重大特性。

3.简要描述Hadoop的体系结构，分析1.x与2.x版本间的区别。

答：Hadoop2.x相比Hadoop1.x最大的变化是增加了YARN组件，YARN是一个资源管

理和任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）

和ApplicationMaster（AM）。其中，ResourceManager负责所有资源的监控、分配和管理；

ApplicationMaster负责每一个具体应用程序的调度和协调；NodeManager负责每一个节点的

维护。对于所有的applications，RM拥有绝对的控制权和对资源的分配权。而每个AM则会

和RM协商资源，同时和NodeManager通信来执行和监控task。

4.简要描述分布式系统的优点有哪些。

答：分布式系统的主要优点是：

（1）经济：微处理机提供了比大型主机更好的性能价格比

（2）速度：分布式系统总的计算能力比单个大型主机更强

（3）固有的分布性：一些应用涉及空间上分散的机器

（4）可靠性：如果一个机器崩溃，整个系统还可以运转

（5）渐增：计算能力可以逐渐增加

项目2Hadoop安装与配置

1.练习安装VMware和CentOS？

略。参考第19页至第27页

2.练习下载并安装Hadoop系统？

略。参考第30页至第40页

3.简要描述配置伪分布Hadoop和分布式Hadoop的主要区别。

略。

4.练习启动和停止Hadoop？

答：运行sbin目录下的start-all.sh完成hadoop的启动，运行stop-all.sh停止Hadoop。

项目3HDFS技术

1.HDFS的特点有哪些？

答：HDFS的优点包括（1）适合大数据处理：（2）高容错性（3）适合批处理（4）通

过移动计算而不是移动数据（5）采用流式文件访问（6）可构建在廉价机器上；

HDFS的缺点包括：（1）低延时数据访问很吃力（2）小文件存储并不擅长（3）不能完成并

发写入和文件随机修改。

2.HDFS是如何读取数据的？

答：HD