找不到spark-submit myfile.py模块

时间:2016-06-12 17:42:38

标签: python python-2.7 apache-spark pip

我做过类似的事情:

export SPARK_HOME=/path/to/your/spark-1.4.1-bin-hadoop2.6

export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/build:$PYTHONPATH
export PYTHONPATH=$SPARK_HOME/python/lib/py4j-0.8.2.1-src.zip:$PYTHONPATH

但是当我跑步时,

spark-submit myfile.py

我希望导入使用pip install安装的模块,我收到此错误:

  

ImportError:没有名为空白

的模块

其中空白基本上是我用pip安装的任何模块。

这一定是一个简单的解决办法,但我不确定哪些路径需要纠正。

0 个答案:

没有答案