未找到pySpark：值%% pyspark

Question

我在使用Zepplin笔记本的EMR上使用spark集群

我在webbroswer中打开了Zepplin笔记本并创建了一个输入

的笔记本

<console>:26: error: not found: value % %pyspark

得到错误

Catalyst

如何在Zepplin中使用pyspark？我在这做错了什么？

Answer 1

尝试检查zeppelin.python属性。也许你的默认系统python和Zeppelins＆＃39; Python的版本存在冲突。

尝试将此行添加到.bashrc

export PYSPARK_PYTHON=/home/$USER/path/to/your/default/system/python

Answer 2

您可能错过了settig SPARK_HOME，但如果不是这样，您可以使用findspark库 https://github.com/minrk/findspark/blob/master/README.md

导入findspark findspark.find（spark文件夹的路径）

或者如果您打算使用pyspark 2.2，您可以直接使用 pip install pyspark

如果以上行抛出错误，请尝试使用sudo

Answer 3

export PYSPARK_PYTHON=/home/user/anaconda3/bin/python
export PYSPARK_DRIVER_PYTHON=jupyter
export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

Answer 4

在IDE或系统变量中设置这些环境变量

SPARK_HOME = <path to spark home>

PYSPARK_SUBMIT_ARGS = "--master local[2] pyspark-shell"

PYTHONPATH = %SPARK_HOME%\python;%SPARK_HOME%\python\build;%PYTHONPATH%;

Answer 5

该注释中可能未设置spark的解释器绑定。锁和键盘图标旁边的右侧有一个齿轮图标。

单击该图标，将显示口译员列表。确保火花绑定为蓝色。

如果未列出火花绑定，请使用其他一些答案来了解为什么齐柏林飞艇没有可用的火花绑定。