原创力文档- 1、本文档共6页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
本文由简悦SimpRead转码，原文地址
从下个模块开始，我们就会进入Spark的学习中，在正式开始学习Spark之前，首先需要选择自己要
使用的Spark编程语言，了解如何部署Spark，另外再根据选择一个简单、方便的Spark运行环
境。
本的主要内容有3块：
Spark编程语言种类，如何选择Spark编程语言；
部署Spark；
如何安装Spark的学习环境。
Spark的编程语言
Spark在诞生之初就提供了多种编程语言接口：Scala、Java、Python和SQL，在后面的版本中又加入
了R语言编程接口。对于Spark来说，虽然其内核是由Scala编写而成，但编程语言从来就不是它的重
点，从Spark提供这么多的编程接口来说，Spark鼓励不同背景的人去使用它完成自己的数据探索工
作。尽管如此，不同编程语言在开发效率、执行效率等方面还是有些不同，我将目前Spark各种编程语言
优缺点罗列如下：
类型开发效率执行效率成熟度支持类型
Scala编译型中高高原生支持
Java编译型低高高原生支持
Python解释型高PySpark
R解释型高中低SparkR
SQL解释型高高高原生支持
现在我们对每个语言的优缺点进行详细的分析：
Scala作为Spark的开发语言当然得到了原生支持，也非常成熟，它简洁的语法也能显著提高开发
效率；
Java也是Spark原生支持的开发语言，但是Java语法冗长且不支持函数式编程（1.8以后支
持），导致它的API设计得冗余且不合理，再加上需要编译执行，Java开发效率无疑是最低的，
但Java程序员基数特别大，JavaAPI对于这些用户来说无疑很友好；
Python与R语言都是解释型语言，不用编译直接运行，尤其是Python更以简洁著称，开发
效率自不必说，此外Python与R语言本身也支持函数式编程，这两种语言在开发Spark作业时
也是非常自然，但由于其执行原理是计算任务在每个节点安装的Python或R的环境中执行，结果
通过管道输出给Spark执行者，所以效率要比Scala与Java低；
SQL是Spark原生支持的开发语言，从各个维度上来说都是最优的，所以一般情况下，用Spark
SQL解决问题是最优选择。
如果你才刚开始学习Spark，那么一开始最好选择一门自己最熟悉的语言，这样Spark的学习曲线会比
较平缓。如果从零开始，建议在Scala与Python中间选择，Scala作为Spark的原生开发语言，如果
文档评论（0）