Cloudera Spark2安装

Question

我正按照cloudera的说明安装此组件，尝试在我的cloudera集群（评估版）中安装Spark2。我下载了CSD，安装它并使用下载组件的包裹分发它，但是当我尝试激活它时，我收到了这条消息：

  

SPARK2需要CDH（5.8及更高）包裹   （2.2.0.cloudera1-1.cdh5.12.0.p0.142354）不可用。

这是群集的信息：

  

版本：Cloudera企业数据中心版试用版5.12.1（＃6内置版   由jenkins于20170818-0807 git：   9bdee611802535491d400e03c98ef694a2c77d0a）

     

Java VM名称：Java HotSpot（TM）64位服务器VM

     

Java VM供应商：Oracle Corporation

     

Java版本：1.7.0_67

CSD

  

SPARK2_ON_YARN-2.2.0.cloudera1.jar

包裹

  

http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/

我认为这可能是因为我的CDH版本（5.12.1）和最后一个spark2 parcel（cdh5.12.0）的版本但是我找不到cdh5.12.1的任何其他软件包而我的下一个问题是：对于cdh5.13.0，它是spark2 parcel？

Answer 1

错误消息具有误导性。真正的问题是您的群集在Java 1.7上运行。 Spark 2.2仅在Java 1.8上受支持。在群集上升级Java，您应该能够安装Spark 2.2 parcel。

Answer 2

终于解决了。问题是我需要更新de cdh core，更新后，spark 2才能正常工作。