Question

我将PATH更新为：

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

我认为它起作用，因为我设法从另一个文件夹中调用spark-shell（虽然我想知道我是否会发疯并且它真的来自bin文件夹）。然而，在重新启动Ubuntu之后它似乎不再起作用。为什么呢？

Could not find valid SPARK_HOME while searching ['/home/username', '/usr/local/bin']
/usr/local/bin/spark-shell: line 57: /bin/spark-submit: No such file or directory

Answer 1

设置

PATH="$HOME/bin:$HOME/.local/bin:$PATH:/home/username/Installs/Spark/bin"

可以运行spark-shell，spark-submit，pyspark等可执行脚本，而无需提供脚本的完整路径。

除了设置PATH之外，您还需要设置

SPARK_HOME=/home/username/Installs/Spark

在您启动 spark cluster 或使用spark-submit时在内部使用。

如果您要在.bashrc文件中设置变量，则还需要export个关键字

export SPARK_HOME=/home/username/Installs/Spark

如果您不想重新启动Ubuntu以测试它的工作类型

. ~/.profile

进入命令行，然后尝试使用spark命令。

Answer 2

要使其正常工作，您应该执行以下操作：

pip install pyspark --user

路径问题：搜索时找不到有效的SPARK_HOME

2 个答案: