如何自动更新/编辑Amazon Data Pipeline

时间:2015-07-02 15:27:56

标签: amazon-web-services amazon-data-pipeline

我想使用AWS Data Pipeline服务并使用基于JSON的手动机制创建了一些服务,该机制使用AWS CLI创建,放置和激活管道。

我的问题是,如果管道定义中的某些内容发生变化,如何自动编辑或更新管道?我可以想象改变的事情可能是安排时间,添加或删除活动或前提条件,对DataNode的引用,资源定义等。

创建管道后,我们无法编辑官方文档中提到的相关内容:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-manage-pipeline-modify-console.html#dp-edit-pipeline-limits

这让我相信,如果我想自动更新管道,那么我将不得不删除并重新创建/激活新管道?如果是,那么下一个问题是我如何创建一个自动化流程来识别以前版本的ID,删除它并创建一个新ID?基本上尝试构建一个发布管理流程,以便自动发布和部署配置JSON文件。

大多数命令,如activate,delete,list-runs,put-pipeline-definition等,都会使用在创建新管道之前不知道的管道ID。我无法找到任何在更新或重新创建时保持不变的内容(createpipeline命令的unique-id和name参数是一致的,但我不能将它们用于上述任务(我需要管道ID)。 / p>

当然我可以尝试编写shell脚本grep并搜索输出并尝试创建脚本但是还有其他更好的方法吗?我遗失的其他一些信息?

非常感谢。

1 个答案:

答案 0 :(得分:3)

您无法完全编辑计划或更改参考,因此创建/删除管道似乎是您的方案的最佳方式。

您需要使用pipeline-id删除管道。是不是可以记录某个地方?例如,您可以在本地或在S3中存储具有最后使用的ID的文件。

我能想到的其他一些方法是:

  • 如果您在帐户中只有一个管道,则可以列出管道和 使用唯一的结果
  • 如果您有管道名称,则可以列出管道并找到ID