在intellij上设置pySpark

Question

如何在intellij上设置pySpark。即使在设置了环境变量spark_home和pythonpath之后，导入pySpark也会出错 - 导入错误：没有名为pySpark的模块

Answer 1

此post中的解决方案对我有用。

有2项变更：
1。在解释器级别 - 添加$ SPARK_HOME / python路径以完成代码
2。对于运行配置 - 将$ SPARK_HOME和Py4j - * .zip添加到PYTHONPATH以提交作业

Answer 2

• 转到文件 - ＆gt;设置
• 寻找项目结构
• 单击Add Content Root并添加$SPARK_HOME / python

在此之后，编辑器将在Spark的python目录中查找源文件。

Answer 3

1. 点击编辑配置
2. 点击环境变量

3. 添加这些变量

   PYTHONPATH =％SPARK_HOME％\ python;％SPARK_HOME％\ python \ build;％PYTHONPATH％

   PYSPARK_SUBMIT_ARGS = --master local [2] pyspark-shell

   SPARK_HOME =

   SPARK_CONF_DIR =％SPARK_HOME \ conf;

   SPARK_LOCAL_IP = 127.0.0.1

Answer 4

我按照 https://www.youtube.com/watch?v=j8AcYWQuv-M 的步骤操作，它帮助我成功连接，修改如下。

• 确保安装了 Python 插件（我使用的是 Python 3.9）

• 从 https://spark.apache.org/downloads.html 下载 Spark 3.1.1。从这里输入 python 和 py4j 路径的详细信息。

• 正确设置 JAVA_HOME - 降低 jdk 1.8（JDK 主路径 /Library/Java/JavaVirtualMachines/jdk1.8.0_281.jdk/Contents/Home）

• 我所做的额外步骤是在 IntelliJ 中的运行/调试配置选项下添加与上述环境变量相同的 JAVA_HOME。