我正在接管AWS上的一组数据管道。它们都是使用AWS图形编辑器工具构建的。管道变得越来越复杂,我的目标是将它们移动到代码并对它们进行版本控制。我们是一家红宝石店,所以除了AWS ruby gem之外还有其他工具或框架我应该用它来做这件事吗?我可以遵循的任何资源,博客和文档都很有用且易于理解(文档可能更好)。
答案 0 :(得分:1)
Datapipeline支持JSON定义格式。格式在以下链接中描述:
从Architect,您可以按照here的说明将现有管道导出为JSON。
将这些JSON文件提交到源代码控制,并使用AWS CLI运行/迁移/部署它们,如下所示:
aws datapipeline create-pipeline --name mydpl --unique-id mydpl
aws datapipeline put-pipeline-definition --pipeline-id df-xxxxxxxxxx --pipeline-definition file:///mydpl.json
aws datapipeline activate-pipeline --pipeline-id df-xxxxxxxxxx