如何在python脚本中使用pyspark模块？

Question

我下载了pyspark模块，我想在我的IDE（Spyder）中使用它。但它根本不起作用。我键入导出PYTHONPATH = $ SPARK_HOME / python /：$ PYTHONPATH将它包含在python路径中，但仍然“没有名为pyspark的模块”是我得到的消息。 是否总是必须使用pyspark控制台才能使用spark模块？有没有办法直接在其他python IDE中使用该模块？

Answer 1

首先从spark website下载资源。然后从这个website下载并安装sbt。现在转到下载的spark源中的sbt文件夹。使用之前安装的sbt包运行sbt文件。它将开始构建，大约需要30分钟才能完成。有关详细信息，请转到此link。 请记住，您应该在PC /笔记本电脑中安装最新版本的JDK。从here获取JDK。构建完成后，按照spark网站上给出的命令创建pyspark PYTHONPATH和环境。你也可以在spyder上做到这一点。