实验3-Spark和Hadoop的安装.docxVIP

目录

第PAGE

目录

TOC\o1-3\h\z\u一、实验目的 1

二、实验平台 1

三、实验内容和要求 1

1．安装Hadoop和Spark 1

2．HDFS常用操作 1

3.Spark读取文件系统的数据 2

四、实验报告 2

实验3Spark和Hadoop的安装

第4章Spark环境搭建和使用方法

教材配套机房上机实验指南

实验3Spark和Hadoop的安装

（题目）

一、实验目的

（1）掌握在Linux虚拟机中安装Hadoop和Spark的方法；

（2）熟悉HDFS的基本使用方法；

（3）掌握使用Spark访问本地文件和HDFS文件的方法。

二、实验平台

操作系统：Ubuntu16.04及以上；

Spark版本：3.5.1；

Hadoop版本：3.3.6。

三、实验内容和要求

1．安装Hadoop和Spark

进入Linux系统，完成Hadoop伪分布式模式的安装。完成Hadoop的安装以后，再安装Spark（Local模式）。

2．HDFS常用操作

使用hadoop用户名登录进入Linux系统，启动Hadoop，参照相关Hadoop书籍或网络资料，或者也可以参考本教程官网的“实验指南”栏目的“HDFS操作常用Shell命令”，使用Hadoop提供的Shell命令完成如下操作：

启动Hadoop，在HDFS中创建用户目录“/user/hadoop”；

在Linux系统的本地文件系统的“/home/hadoop”目录下新建一个文本文件test.txt，并在该文件中随便输入一些内容，然后上传到HDFS的“/user/hadoop”目录下；

把HDFS中“/user/hadoop”目录下的test.txt文件，下载到Linux系统的本地文件系统中的“/home/hadoop/下载”目录下；

将HDFS中“/user/hadoop”目录下的test.txt文件的内容输出到终端中进行显示；

在HDFS中的“/user/hadoop”目录下，创建子目录input，把HDFS中“/user/hadoop”目录下的test.txt文件，复制到“/user/hadoop/input”目录下；

删除HDFS中“/user/hadoop”目录下的test.txt文件，删除HDFS中“/user/hadoop”目录下的input子目录及其子目录下的所有内容。

3.Spark读取文件系统的数据

（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

（3）编写独立应用程序，读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成JAR包，并将生成的JAR包通过spark-submit提交到Spark中运行命令。

四、实验报告

《Spark编程基础》实验报告

题目：

姓名：

日期：

实验环境：

实验内容与完成情况：

出现的问题：

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：