我正在使用已安装默认spark的cdh5.1.0。但是,我想使用Spark 1.3。我还可以将此版本安装到cdh5.1.0吗?怎么可能设置它们?新版火花是否也会通过Cloudera经理进行监控?
答案 0 :(得分:7)
是的,您可以运行任何您喜欢的Apache Spark版本。只需确保它是为您拥有的YARN版本(CDH 5.1.0的2.3)而构建的。然后,您可以使用spark-submit
将应用程序作为YARN应用程序运行。 (参见http://spark.apache.org/docs/latest/running-on-yarn.html。)它将像任何其他YARN应用程序一样受到监控。
Spark根本不需要“安装”,只需运行你的应用程序。
答案 1 :(得分:-4)
请从您的控制台执行以下命令,使用sudo访问和密码....它会将您当前的火花版本更新为最新版本
sudo yum install spark-core spark-master spark-worker spark-history-server spark-python
sudo yum install spark-core spark-history-server spark-python