如何使用pyspark链接笔记本中的自有外部模块？

Question

我有一个主要的IPython笔记本，其中我有执行不同任务的代码。

我需要在笔记本中以.py文件的形式导入一个自己的模块，如下所示：

[ { question: 'What is your Name', 
    relatedApi: '/put/user' },
  { question: 'What is your restaurant Name',
    relatedApi: '/put/user' },
  { question: 'Add a diss to your restaurant',
    relatedApi: '/post/item' } ]

我们可以假设from custom_module import function 是：

custom_module.py

据我从文档中了解，我需要做的是写下以下内容：

def function(x): 
    print(x)

上面的命令只有在模块位于ipynb的同一文件夹中时才有效，但是我在其他目录中有什么模块.py文件？

我尝试了下面的代码但效果不佳。找不到模块。

$pyspark --py-files custom_module.py

Answer 1

基本上这可以在客户端上运行，但不在驱动程序上运行。 我发现这样做的一种方法是确保驱动程序上custom_module所在的目录位于PYTHONPATH中。