我从RPM软件包安装了Cloudera CDH 5.11集群(我们不想使用Cloudera Manager或parcel)。有没有人为CDH找到/构建Spark 2 RPM软件包?似乎Cloudera只将Spark 2作为包裹运送。
答案 0 :(得分:1)
你不会。目前,文档“Spark 2已知问题”明确指出:
不支持包安装
Apache Spark 2的Cloudera Distribution只能作为一个包裹安装。
答案 1 :(得分:1)
最好的方法是使用Spark on Yarn而不是使用Spark Master / Worker。您可以自由使用任何您喜欢的Spark版本,与供应商提供的版本无关。
您需要做的是打包Spark History Server,以便在作业完成后查看作业。而且,如果要使用动态分配,则需要在Yarn中配置Spark Shuffle Service。
答案 2 :(得分:0)
看起来我无法对某个问题发表评论,请原谅这篇文章作为答案。
是否可以使用CM在RPM安装的集群上安装Spark2 parcel?
答案 3 :(得分:0)
从CDH 6.0起,Spark 2作为RPM包含在内。问题解决了。