我做过类似的事情:
export SPARK_HOME=/path/to/your/spark-1.4.1-bin-hadoop2.6
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH
但是当我跑步时,
spark-submit myfile.py
我希望导入使用pip install
安装的模块,我收到此错误:
ImportError:没有名为空白
的模块
其中空白基本上是我用pip安装的任何模块。
这一定是一个简单的解决办法,但我不确定哪些路径需要纠正。