AWS Datapipeline到Ruby代码

时间:2016-12-06 23:38:13

标签: ruby amazon-web-services amazon-data-pipeline

我正在接管AWS上的一组数据管道。它们都是使用AWS图形编辑器工具构建的。管道变得越来越复杂,我的目标是将它们移动到代码并对它们进行版本控制。我们是一家红宝石店,所以除了AWS ruby​​ gem之外还有其他工具或框架我应该用它来做这件事吗?我可以遵循的任何资源,博客和文档都很有用且易于理解(文档可能更好)。

1 个答案:

答案 0 :(得分:1)

Datapipeline支持JSON定义格式。格式在以下链接中描述:

从Architect,您可以按照here的说明将现有管道导出为JSON。

将这些JSON文件提交到源代码控制,并使用AWS CLI运行/迁移/部署它们,如下所示:

aws datapipeline create-pipeline --name mydpl --unique-id mydpl
aws datapipeline put-pipeline-definition --pipeline-id df-xxxxxxxxxx --pipeline-definition file:///mydpl.json
aws datapipeline activate-pipeline --pipeline-id df-xxxxxxxxxx