使用RPM在CDH 5. *上安装Spark 2?

时间:2017-08-18 08:43:07

标签: apache-spark cloudera-cdh

我从RPM软件包安装了Cloudera CDH 5.11集群(我们不想使用Cloudera Manager或parcel)。有没有人为CDH找到/构建Spark 2 RPM软件包?似乎Cloudera只将Spark 2作为包裹运送。

4 个答案:

答案 0 :(得分:1)

你不会。目前,文档“Spark 2已知问题”明确指出:

  

不支持包安装

     

Apache Spark 2的Cloudera Distribution只能作为一个包裹安装。

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_known_issues.html#ki_package_install

答案 1 :(得分:1)

最好的方法是使用Spark on Yarn而不是使用Spark Master / Worker。您可以自由使用任何您喜欢的Spark版本,与供应商提供的版本无关。

您需要做的是打包Spark History Server,以便在作业完成后查看作业。而且,如果要使用动态分配,则需要在Yarn中配置Spark Shuffle Service。

答案 2 :(得分:0)

看起来我无法对某个问题发表评论,请原谅这篇文章作为答案。

是否可以使用CM在RPM安装的集群上安装Spark2 parcel?

答案 3 :(得分:0)

从CDH 6.0起,Spark 2作为RPM包含在内。问题解决了。