将本地python模块添加到Spark

时间:2017-10-16 16:57:07

标签: apache-spark pyspark jupyter-notebook jupyter

我有一个火花星团,我使用Jupyter笔记本进行编码,到目前为止这一切都很好。但现在我想在hello.py

添加一个位于我本地文件系统上的本地模块(我们称之为/var/lib/mymodules/hello.py

我试过了sc.addPyFile("/var/lib/mymodules/hello.py"),但总是抱怨它无法找到文件

接下来我尝试了sc.addPyFile("file:///var/lib/mymodules/hello.py")

根据官方文档,本地文件应该由addPyFile支持但我无法使其工作

这里使用的正确语法是什么

0 个答案:

没有答案