我有一个版本为hadoop版本Hadoop 2.6.0-cdh5.4.2
的现有Hadoop集群。我在该集群上运行了一个现有的Spark(版本1.5.1)。但是,我想使用Spark 2.0 / Spark 2.1进行一些代码修改。
更新
我从cloudera forums发现,在理论上,我可以下载Spark-2.0(+ Hadoop-2.6),在HADOOP_CONF_DIR
上更改conf/spark-env.sh
并执行类似
./bin/spark-shell --master yarn
基本上,我将在我的集群上运行Spark-2.0。但是,它仍然无效。我找不到可能的解决方案,这就是我来到这里的原因。
答案 0 :(得分:0)
很快就会从Cloudera获得Spark 2.0 Beta。您将能够通过包裹轻松地将其安装在Cloudera Manager管理的集群上。