我想使用AWS Data Pipeline服务并使用基于JSON的手动机制创建了一些服务,该机制使用AWS CLI创建,放置和激活管道。
我的问题是,如果管道定义中的某些内容发生变化,如何自动编辑或更新管道?我可以想象改变的事情可能是安排时间,添加或删除活动或前提条件,对DataNode的引用,资源定义等。
创建管道后,我们无法编辑官方文档中提到的相关内容:http://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-manage-pipeline-modify-console.html#dp-edit-pipeline-limits
这让我相信,如果我想自动更新管道,那么我将不得不删除并重新创建/激活新管道?如果是,那么下一个问题是我如何创建一个自动化流程来识别以前版本的ID,删除它并创建一个新ID?基本上尝试构建一个发布管理流程,以便自动发布和部署配置JSON文件。
大多数命令,如activate,delete,list-runs,put-pipeline-definition等,都会使用在创建新管道之前不知道的管道ID。我无法找到任何在更新或重新创建时保持不变的内容(createpipeline命令的unique-id和name参数是一致的,但我不能将它们用于上述任务(我需要管道ID)。 / p>
当然我可以尝试编写shell脚本grep并搜索输出并尝试创建脚本但是还有其他更好的方法吗?我遗失的其他一些信息?
非常感谢。
答案 0 :(得分:3)
您无法完全编辑计划或更改参考,因此创建/删除管道似乎是您的方案的最佳方式。
您需要使用pipeline-id删除管道。是不是可以记录某个地方?例如,您可以在本地或在S3中存储具有最后使用的ID的文件。
我能想到的其他一些方法是: