爬网程序完成后如何启动AWS Glue作业

时间:2018-07-21 18:00:39

标签: amazon-web-services aws-lambda aws-glue

我正在尝试弄清楚如何在AWS Glue爬网程序完成后自动启动AWS Glue作业。我看到抓取工具在事件完成时发送事件,但是我正在努力解析文档以找出如何侦听该事件然后启动AWS Glue Job。

这似乎是一个非常简单的问题,但到目前为止,我还找不到任何线索。我将不胜感激。预先感谢!

2 个答案:

答案 0 :(得分:3)

您可以创建一个CloudWatch事件,选择Glue Crawler状态更改作为事件源,选择一个Lambda函数作为事件目标,然后在Lambda函数中可以使用boto3(或其他语言sdk)来调用要运行的作业。 / p>

答案 1 :(得分:0)

使用AWS Glue Trigger

对于涉及两个以上步骤的任何操作,建议使用AWS Glue Workflows。它们是通过将Glue作业,搜寻器和触发器链接在一起形成一个易于可视化和监视的工作流程而形成的。