我创建了一个胶粘作业并启用了作业书签,想要查看胶水存储的元数据以跟踪处理的文件。
答案 0 :(得分:1)
不幸的是,AWS Glue作业书签详细信息不适用于客户。据我所知,它基于传递给DynamicFrame方法(如transformationContext
,getSinkWithFormat()
,applyMapping()
)的作业名称,源文件名和getCatalogSource()
字符串。
此外,必须分别在脚本的开头和结尾处调用Job.init()
和Job.commit()
才能使书签生效。
答案 1 :(得分:0)
您现在可以使用aws glue get-job-bookmark --job-name <job_name>
来获取书签的内容。有关详细信息,请参见https://docs.aws.amazon.com/cli/latest/reference/glue/get-job-bookmark.html。