原创力文档- 1、本文档共17页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
Spar基础项目2主讲教师：郭亚东共有4个任务
主要内容2.1初识Spark2.2搭建Spark开发环境2.3Spark运行架构与原理2.4Spark基本操作主要内容
任务介绍2.4Spark基本操作体验第一个Spark程序启动Spark-Shell命令IDEA开发WordCount程序
IDEA开发WordCount程序一、本地模式执行Spark程序创建一个名为“spark_chapter02”的Maven项目，然后在main和test目录下分别创建一个名称为scala的文件夹。步骤一：创建Maven项目将文件夹标记为资源文件夹类型将文件夹标记为测试资源文件夹类型
IDEA开发WordCount程序一、本地模式执行Spark程序步骤二：添加Spark相关依赖，打包插件设置依赖的版本号添加Scala、Hadoop和Spark相关的依赖打开pom.xml文件，在该文件中添加的依赖如下所示：
IDEA开发WordCount程序一、本地模式执行Spark程序
IDEA开发WordCount程序一、本地模式执行Spark程序步骤三：编写代码，查看结果在main目录的scala文件夹中，创建WordCount.scala文件实现词频统计。
IDEA开发WordCount程序一、本地模式执行Spark程序
IDEA开发WordCount程序一、本地模式执行Spark程序步骤三：编写代码，查看结果执行代码成功后，在控制台可以查看输出结果。
IDEA开发WordCount程序二、集群模式执行Spark程序注意：如果在创建Maven工程中选择Scala原型模板，上述插件会自动创建。这些插件的主要功能是方便开发人员进行打包。步骤一：添加打包插件步骤二：修改代码，打包程序
IDEA开发WordCount程序二、集群模式执行Spark程序
IDEA开发WordCount程序二、集群模式执行Spark程序使用MavenProjects工具，双击package选项，即可自动将项目打包生成Jar包。出现下图说明打包成功。在IDEA中，找到target文件夹，就能够看到打包文件。生成两个Jar包，其中Original包中不含有第三方Jar。
IDEA开发WordCount程序二、集群模式执行Spark程序步骤三：执行提交命令“spark-submit”指定Master节点地址。指定运行主类的全路径名称。指定执行器的资源分配。指定Jar包所在的绝对路径。是代码的输入参数args(0)，表示需要计算的数据源所在路径。是代码的输入参数args(1)，表示程序计算完成后，输出结果文件存储路径。
IDEA开发WordCount程序二、集群模式执行Spark程序执行成功后，进入HDFSWeb页面查看/spark/test/out文件夹，如下图所示：
IDEA开发WordCount程序二、集群模式执行Spark程序part-*：为真正的输出结果文件，最终可以下载到本地，或者使用Hadoop命令-cat查看，执行命令查看文件结果如下：
IDEA开发WordCount程序小结
谢谢观看THANKS
文档评论（0）