CDH-spark源码编译说明文档.docVIP

下载本文档

0
0
约3.1千字
约 7页
2024-07-14 发布于江苏
举报
版权申诉

CDH-spark源码编译说明文档.doc

1、本文档共7页，可阅读全部内容。
2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击这里二次下载。
4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
8、VIP文档为合作方或网友上传，每下载1次，网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档

CDH-spark源码编译说明文档

#添加远程仓库地址$gitremoteaddcdhgit@:cloudera/spark.git

#抓取远程仓库更新：$gitfetchcdh

#假设cloudera发布了新的版本cdh/cdh5-1.3.0_5.4.X$gitcheckout-bcdh5-1.3.0_5.4.Xcdh/cdh5-1.3.0_5.4.X

#切换到新下载的分支$gitcheckoutcdh5-1.3.0_5.4.X

#将其提交到自己的远程仓库：$gitpushorigincdh5-1.3.0_5.4.X:cdh5-1.3.0_5.4.X

编译

安装zinc

在mac上安装\t/2015/04/28/_blankzinc：

$brewinstallzinc

使用maven编译

指定hadoop版本为2.6.0-cdh5.4.0，并集成yarn和hive：

$exportMAVEN_OPTS=-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m

$mvn-Pyarn-Dhadoop.version=2.6.0-cdh5.4.0-Phive-DskipTestscleanpackage

在CDH的spark中，要想集成hive-thriftserver进行编译，需要修改pom.xml文件，添加一行?sql/hive-thriftserver：

modules

modulecore/module

modulebagel/module

modulegraphx/module

modulemllib/module

moduletools/module

modulestreaming/module

modulesql/catalyst/module

modulesql/core/module

modulesql/hive/module

modulesql/hive-thriftserver/module!--添加的一行--

modulerepl/module

moduleassembly/module

moduleexternal/twitter/module

moduleexternal/kafka/module

moduleexternal/flume/module

moduleexternal/flume-sink/module

moduleexternal/zeromq/module

moduleexternal/mqtt/module

moduleexamples/module

/modules

然后，再执行：

$exportMAVEN_OPTS=-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m

$mvn-Pyarn-Dhadoop.version=2.6.0-cdh5.4.0-Phive-Phive-thriftserver-DskipTestscleanpackage

运行测试用例：

$mvn-Pyarn-Dhadoop.version=2.6.0-cdh5.4.0-Phivetest

运行java8测试：

$mvninstall-DskipTests-Pjava8-tests

使用sbt编译

$build/sbt-Pyarn-Dhadoop.version=2.6.0-cdh5.4.0-Phiveassembly

生成压缩包

$./make-distribution.sh

创建压缩包

编译完成后，会生成dist目录

$cp./dist./spark-1.3.0-cdh5.4.0

$tarcvfzspark-1.3.0-cdh5.4.0.tar.gz./spark-1.3.0-cdh5.4.0

排错

Unabletofindconfigurationfileatlocationscalastyle-config.xml?异常

在idea中使用maven对examples模块运行package或者install命令会出现?Unabletofindconfigurationfileatlocationscalastyle-config.xml异常，解决办法是将根目录下的scalastyle-config.xml拷贝到examples目录下去，这是