在EMR上的MRJob中导入模块

Question

简单的问题：我有一个模块headers.py，它在我的主MRJob脚本中定义了我需要的几个变量。我应该能够用

来完成这项工作

python MRMyJob -r emr --file=headers.py s3://input/data/path

然后在我的MRJob脚本（MRMyJob）中，以下内容应该有效：

from headers import header1, header2, header3

右？从mrjob --help页面：“ - file = UPLOAD_FILES                         将文件复制到此脚本的工作目录。您                         可以多次使用--file。“

当我尝试导入它时，我仍然得到“没有名为header的模块”。

Answer 1

headers.py显然未放入您的远程PYTHONPATH。请参阅the docs有关如何将其他模块传输到群集的信息;你必须先把它们放在tarball中。