Question

我尝试设置一个简单的独立Spark群集，与Spyder的接口。火花邮件列表和其他地方有几条评论，它们提供了一个指南how to do this。

但这对我的设置不起作用。将脚本提交到spark-submit后，我收到以下错误：

File "/home/philip/Programme/anaconda2/bin/spyder.py", line 4, in <module> import spyder.app.start
ImportError: No module named app.start

根据我的理解，这必须对$PYTHONPATH变量做一些事情。我已经改变了py4j模块的路径（在当前的spark版本2.1.0中，它是py4j-0.10.4而不是列出的那个。

我的.bashrc文件目前看起来像这样：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre
export SPARK_HOME=~/Programme/spark-2.1.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH
export PATH=$PATHusr/bin/spyder

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

# added by Anaconda2 4.3.0 installer
export PATH=/home/philip/Programme/anaconda2/bin:$PATH

如果遇到类似的问题，非常感谢帮助！

Answer 1

我遇到了类似的错误。我的理由是我没有设置require。您应该尝试将此设置为您的python安装。所以而不是：

PYTHONPATH

尝试

export PYTHONPATH=${PYTHONPATH}home/philip/Programme/anaconda2/bin/

我能够通过在spyder编辑器窗口中使用以下代码来进行我的spyder设置：

export PYTHONPATH=/home/philip/Programme/anaconda2/bin/python2.7

希望有所帮助。

注册Spyder for Spark错误

1 个答案: