无法在Windows上使用PySpark运行GraphFrames

时间:2016-09-21 03:29:45

标签: python apache-spark pyspark graphframes

我正在尝试使用GraphFrames在Windows上运行PySpark。

GraphFrames快速入门指南提到了以下内容 -

  

如果您将GraphFrames作为JAR graphframes.jar提供,则可以通过将JAR传递给pyspark shell脚本来使GraphFrames可用,如下所示:

$ ./bin/pyspark --master local[4] --py-files graphframes.jar --jars graphframes.jar

是否有类似的命令(如--py-files)在Windows中包含 .jar 分发?

我尝试使用 NotebookApp.file_to_run =" graphframes-0.2.0-spark1.5-s_2.10.jar",但这不起作用。 还有其他方法可以在Windows上使用PySpark运行GraphFrames吗? TIA。

我在命令行中运行什么来启动PySpark:

ipython notebook %SPARK_HOME%/bin/pyspark

Final Command我试图运行GraphFrames:

ipython notebook %SPARK_HOME%/bin/pyspark NotebookApp.file_to_run=graphframes-0.2.0-spark1.5-s_2.10.jar

0 个答案:

没有答案