我有很多DynamoDB表来在Data Pipeline中设置备份。我可以通过aws命令行为1或2个表传递一个json文件,这意味着JSON文件正在工作。
但是,当我传递一个大型JSON(带有50-100个DynamoDB表)来设置DataPipeline时,我收到此错误:
调用时发生错误(InvalidRequestException) PutPipelineDefinition操作:超出Web服务限制:超出 每个管道允许的最大对象数
我可以为每个DynamoDB表创建每个JSON。但问题是之前的DataPipeline会被下一个JSON覆盖。
我正在使用的AWS命令是:
aws datapipeline put-pipeline-definition --pipeline-id df-XXXXXXXXXXXXX --pipeline-definition file:///home/varun/Desktop/df-XXXXXXXXXXXXX.json
我的主要问题:如果我使用带有多个JSON的put-pipeline-definition,有没有办法,不会覆盖datapipeline活动?
答案 0 :(得分:0)
对于每个json,您需要创建一个单独的管道:
aws datapipeline create-pipeline --pipeline-name mytable --unique-id mytable
aws datapipeline put-pipeline-definition --pipeline-id <ID from previous command> --pipeline-definition file://mytable.json