我可以在CDH中安装多个spark版本吗?

时间:2015-04-17 05:25:04

标签: apache-spark cloudera-cdh

我正在使用已安装默认spark的cdh5.1.0。但是,我想使用Spark 1.3。我还可以将此版本安装到cdh5.1.0吗?怎么可能设置它们?新版火花是否也会通过Cloudera经理进行监控?

2 个答案:

答案 0 :(得分:7)

是的,您可以运行任何您喜欢的Apache Spark版本。只需确保它是为您拥有的YARN版本(CDH 5.1.0的2.3)而构建的。然后,您可以使用spark-submit将应用程序作为YARN应用程序运行。 (参见http://spark.apache.org/docs/latest/running-on-yarn.html。)它将像任何其他YARN应用程序一样受到监控。

Spark根本不需要“安装”,只需运行你的应用程序。

答案 1 :(得分:-4)

请从您的控制台执行以下命令,使用sudo访问和密码....它会将您当前的火花版本更新为最新版本

sudo yum install spark-core spark-master spark-worker spark-history-server spark-python
sudo yum install spark-core spark-history-server spark-python