有没有办法在工作完成后运行aws glue crawler？

Question

例如，我运行ETL，可以为目标表添加新的字段或列。要检测表更改，应运行爬网程序，但只有手动或计划运行。

作业完成后是否可以触发抓取工具？

Answer 1

res.render('index', {
                     data: data,
                     sessionID: req.session.userId,
                     email:req.session.emaill,
                     user_name: req.session.user_name
                    })

将此代码段复制到代码末尾。

Answer 2

您可以使用触发器，但不能在触发器 UI 中使用 :S

使用 Glue 工作流：添加触发器以启动作业、添加作业、添加作业成功的触发器、为触发的内容添加爬虫

或者，使用 CLI：

aws glue create-trigger --name myJob-success \
    --type CONDITIONAL \
    --predicate '{"Logical":"ANY","Conditions":[{"JobName":"myJob","LogicalOperator":"EQUALS","State":"SUCCEEDED"}]}' \
    --actions CrawlerName=myCrawler \
    --start-on-creation

或在 CloudFormation 中：

Type: AWS::Glue::Trigger
Properties: 
  Name: job_success
  Type: CONDITIONAL
  Predicate: 
    Logical: ANY
    Conditions:
      - JobName: myJob
        LogicalOperator: EQUALS
        State: SUCCEEDED
  Actions: 
    - CrawlerName:myCrawler