Question

我正在尝试一个简单的python shell作业，在其中尝试读取S3存储桶文件夹中的配置文件。胶水服务角色具有存储桶对象的读/写权限。我已经设置了--extra-files特殊参数，将其指向配置文件S3的位置。

当我运行作业时，我仍然收到FileNotFound异常。我还使用listdir（）查看内容，并注意到缺少配置文件。

非常感谢您的帮助。谢谢

import os
import yaml

print(os.listdir("."))

file_path = "config_aws.yaml"
with open(file_path, 'r') as configfile:
    config = yaml.load(configfile, Loader=yaml.FullLoader)

for section in config:
    print(section)

Answer 1

我正面临着同样的问题。我发现该文件位于名为glue-python-libs-...的目录下。

因此，我必须执行以下操作（糟糕的解决方法）：

config_dir = [f for f in os.listdir("./") if f.startswith("glue-python-libs-")][0]
config_file = f"{config_dir}/config.json"

多余的文件不会复制到作业运行目录

1 个答案: