无法使用awscli

时间:2017-01-04 06:49:02

标签: amazon-web-services aws-cli amazon-data-pipeline

我有很多DynamoDB表来在Data Pipeline中设置备份。我可以通过aws命令行为1或2个表传递一个json文件,这意味着JSON文件正在工作。

但是,当我传递一个大型JSON(带有50-100个DynamoDB表)来设置DataPipeline时,我收到此错误:

  

调用时发生错误(InvalidRequestException)   PutPipelineDefinition操作:超出Web服务限制:超出   每个管道允许的最大对象数

我可以为每个DynamoDB表创建每个JSON。但问题是之前的DataPipeline会被下一个JSON覆盖。

我正在使用的AWS命令是:

aws datapipeline put-pipeline-definition --pipeline-id df-XXXXXXXXXXXXX --pipeline-definition file:///home/varun/Desktop/df-XXXXXXXXXXXXX.json

我的主要问题:如果我使用带有多个JSON的put-pipeline-definition,有没有办法,不会覆盖datapipeline活动

编辑: 1.我有一个数据管道,如下所示 Test Data Pipeline

  1. 以下是数据管道内的数据节点和活动(备份): Activities and Data Nodes Activities and Data Nodes
  2. 我必须使用JSON创建多个(read~50)活动和数据节点。 json适用于1个活动,但是对于第二个活动,它会覆盖现有活动。

1 个答案:

答案 0 :(得分:0)

对于每个json,您需要创建一个单独的管道:

aws datapipeline create-pipeline --pipeline-name mytable --unique-id mytable 
aws datapipeline put-pipeline-definition --pipeline-id <ID from previous command> --pipeline-definition file://mytable.json