我正在尝试使用GraphFrames在Windows上运行PySpark。
GraphFrames快速入门指南提到了以下内容 -
如果您将GraphFrames作为JAR graphframes.jar提供,则可以通过将JAR传递给pyspark shell脚本来使GraphFrames可用,如下所示:
$ ./bin/pyspark --master local[4] --py-files graphframes.jar --jars graphframes.jar
是否有类似的命令(如--py-files
)在Windows中包含 .jar 分发?
我尝试使用 NotebookApp.file_to_run =" graphframes-0.2.0-spark1.5-s_2.10.jar",但这不起作用。 还有其他方法可以在Windows上使用PySpark运行GraphFrames吗? TIA。
我在命令行中运行什么来启动PySpark:
ipython notebook %SPARK_HOME%/bin/pyspark
Final Command我试图运行GraphFrames:
ipython notebook %SPARK_HOME%/bin/pyspark NotebookApp.file_to_run=graphframes-0.2.0-spark1.5-s_2.10.jar