如何在PySpark shell会话中更新pyfile？

Question

在交互式pyspark会话中，您可以通过sc.addPyFile('file_location')导入python文件。如果您需要对该文件进行更改并保存它们，是否有任何方法可以“重新广播”更新的文件而无需关闭您的Spark会话并开始新的文件？

再次添加文件不起作用。我不确定重命名文件是否有效，但我不想这样做。

据我从spark文档中可以看出，只有一种方法可以添加pyfile，而不是更新一个。我希望我错过了什么！

由于

Answer 1

我认为在交互式会话中这是不可行的。您必须重新启动会话才能使用修改后的模块。