标签: intellij-idea pycharm
已选择Python interpreter:
Python interpreter
我们可以看到pyspark可用(通过pip)并且对该python解释器可见:
pyspark
pip
但python解释程序无法识别pyspark包:
python
pyspark是唯一似乎受此问题影响的软件包:pandas,numpy,sklearn等所有工作。那么pyspark有何不同?
pandas
numpy
sklearn
答案 0 :(得分:0)
虽然以下不是真的原始问题的答案,但它是 middling - 并且只有部分 - 解决方法。
我们需要向Run configuration添加几个环境变量:
Run configuration
特别需要SPARK_HOME,PYTHON_SUBMIT_ARGS(= pyspark-shell)和PYTHONPATH。
SPARK_HOME
PYTHON_SUBMIT_ARGS
pyspark-shell
PYTHONPATH
这不方便需要设置每个 pyspark运行配置..但是提供了最后的手段。