适用于AWS Glue的CI / CD管道

Question

我是AWS Glue的新用户，AWS Glue是一种新的AWS托管服务，可轻松协调批处理作业工作流。

• 我有3个不同的AWS IAM帐户（Dev，Test，Prod）。分离 登录每个帐户。
• 胶水，Scala作业在我的版本中受版本控制 Github存储库。
• 我想建立一个CI / CD管道来自动化 在我提交并推送我的Github存储库时，测试，构建和部署我的Glue作业。

我浏览了许多博客和文章，描述了CI / CD最佳实践。我在AWS Blog here上找到了一篇不错的文章（特别是关于数据管道工作流中的CI / CD）。它非常简单，并且包含使用CodeCommit和AWS Cloudformation构建CodePipeline的详细信息。但是，CI / CD的所有阶段都在同一个AWS IAM帐户中启动和结束。

我有两个问题：

1. 正在将开发，测试和生产帐户（不同的IAM）分开以进行构建和管理 数据管道/数据仓库，一个好的做法？
2. 如果是，我将如何使用3个不同的IAM帐户设计CI / CD管道？

关于为AWS-Glue设计CI / CD管道的最佳实践的任何建议吗？

Answer 1

请参阅this，其中详细说明了如何以安全方式跨多个帐户设置CI / CD管道。

是否将Dev，Test和Prod帐户（不同的IAM）分开以构建和管理数据管道/数据仓库，这是一个好习惯吗？

  

    

是的，这是一个好习惯。

  

如果可以，如何使用3个不同的IAM帐户设计CI / CD管道？

  

    

请参阅共享链接

  

Answer 2

是否将Dev，Test和Prod帐户（不同的IAM）分开以构建和管理数据管道/数据仓库，这是一个好习惯吗？

是的，在不同的AWS账户中分离环境是一个好习惯，同时建议您进行安全实践。

如果可以，如何使用3个不同的IAM帐户设计CI / CD管道？

Here是一个博客，定义了如何配置不同AWS账户中的资源并与之安全通信。