如何构建从CDH在现有Hadoop 2.6集群上运行的火花

时间:2016-09-09 09:37:03

标签: apache-spark cloudera-cdh

我有一个版本为hadoop版本Hadoop 2.6.0-cdh5.4.2的现有Hadoop集群。我在该集群上运行了一个现有的Spark(版本1.5.1)。但是,我想使用Spark 2.0 / Spark 2.1进行一些代码修改。

更新

我从cloudera forums发现,在理论上,我可以下载Spark-2.0(+ Hadoop-2.6),在HADOOP_CONF_DIR上更改conf/spark-env.sh并执行类似

./bin/spark-shell --master yarn

基本上,我将在我的集群上运行Spark-2.0。但是,它仍然无效。我找不到可能的解决方案,这就是我来到这里的原因。

1 个答案:

答案 0 :(得分:0)

很快就会从Cloudera获得Spark 2.0 Beta。您将能够通过包裹轻松地将其安装在Cloudera Manager管理的集群上。