AWSDatapipeline备份/恢复和验证

时间:2014-01-14 05:31:36

标签: validation amazon-web-services amazon-s3 amazon-data-pipeline

我是AWS datapipeline的新手,我需要将dynamoDb备份到S3存储桶,然后从该备份恢复到某些已恢复的dyanmoDb表,然后验证记录,表示检查S3备份中的记录数并恢复dynamoDb表

有人可以告诉我怎么做吗?我知道datapipeline中已有模板将Dynamo从Dynamo复制到S3,S3到发电机。

但我想从一些经验丰富的人那里,在同一数据管道中进行所有备份,恢复和验证的方法,主要是恢复和验证步骤。

任何帮助都是有价值的

1 个答案:

答案 0 :(得分:1)

基本上你可以将两个模板一个接一个地组合在一起,以便在备份和恢复过程中获得所需的管道(如果你不确定如何做到这一点,你可以设置另一个活动来执行当前一个完成后的数据管道。)

至于验证,理论上你可以将它作为shell命令活动的一部分,但我建议不要这样做。 Shell命令活动的设置和调试非常复杂,因此您最好还是运行其他一些流程来处理验证。

(我非常认真对待shell命令活动很难处理。你很少了解它们的运行方式,运行期间发生的情况以及运行状态。)