Terratest如何触发并等待胶水作业

Question

我正在研究terratest以测试AWS代码。我的工作量主要是使用python胶水或spark胶水从s3中访问数据，做一些工作，然后存储到s3中。

我想编写一个测试，测试我的角色是否正确地授予对某些存储桶的访问权限。为此，我创建了一个胶粘的pythonshell作业，将文件放入存储桶中，然后检查（从我的go代码中）文件及其内容是否符合预期。

尝试实现此功能时，Terraform部分被快速编写。我现在停留在如何触发python作业以及如何等待其完成的事情上。

有什么不错的方法吗？

Answer 1

胶水具有triggers概念，可帮助您根据需求启动它们。触发器按需，基于计划或基于事件组合触发。

此外，一旦作业开始，您就可以使用CloudWatch事件来监视其状态。 article讨论了如何监视Glue搜寻器的运行。更改后的方法也可以应用于Glue作业。