无法使用火花壳发射火花

Question

我正在尝试在我的cloudera集群上设置SPARK2。为此，我有JDK1.8：

我已经使用rpm文件安装了scala 2.11.8：

我已经下载了火花版本2.2.0，并将其解压缩到我的主目录/ home / cloudera中。

我对.bashrc中的PATH变量进行了如下更改：

但是当我尝试从主目录/ home / cloudera执行spark-shell时，它说没有这样的文件或目录，如下所示：

[cloudera@quickstart ~]$ spark-shell
/home/cloudera/spark/bin/spark-class: line 71: /usr/java/jdk1.7.0_67-cloudera/bin/java: No such file or directory
[cloudera@quickstart ~]$ 

任何人都可以让我知道如何解决该问题并正确配置它吗？

Answer 1

Java / JVM应用程序（尤其是spark-shell）使用java二进制文件自行启动。因此，他们需要知道它的位置，这通常是通过JAVA_HOME环境变量来完成的。

在您的情况下，它没有明确重置，并且使用了Clauder默认的一个Java发行版中的值（即使它指向空位置）。

您需要为要启动JAVA_HOME和其他应用程序的用户设置spark-shell指向正确的Java分发目录。