尽管在配置的Python SDK中可见,但是intellij无法识别Pyspark

时间:2017-07-19 17:33:08

标签: intellij-idea pycharm

已选择Python interpreter

enter image description here

我们可以看到pyspark可用(通过pip)并且对该python解释器可见:

enter image description here

python解释程序无法识别pyspark包:

enter image description here

pyspark是唯一似乎受此问题影响的软件包:pandasnumpysklearn等所有工作。那么pyspark有何不同?

1 个答案:

答案 0 :(得分:0)

虽然以下不是真的原始问题的答案,但它是 middling - 并且只有部分 - 解决方法。

我们需要向Run configuration添加几个环境变量:

enter image description here

特别需要SPARK_HOMEPYTHON_SUBMIT_ARGS(= pyspark-shell)和PYTHONPATH

这不方便需要设置每个 pyspark运行配置..但是提供了最后的手段。