我需要在AWS Dynamodb中插入大量的虚拟数据

时间:2018-07-16 03:05:14

标签: database bash shell amazon-web-services amazon-dynamodb

我必须用测试数据填充动态表。我能够使用以下脚本填充10,000个项目:

for (( c = $1; c <= $2; c++ ))
do
    aws dynamodb put-item --table-name test_table \
    --item '{"swVersion":{"S": "x.x.'${c}'"}, .... \ 
    # multi-line item description goes on and on \
    # item size is about 2KB \
done

这是一个非常缓慢的过程,所以我不得不分割1〜1000、1001〜2000,依此类推。 现在,我尝试插入1,000,000个项目。我猜我可以使用batch-write。可能同时运行多个脚本(目前我也不确定如何执行),我想在下面提出一些建议:

  • 是否有比我尝试的省时省钱的方法?
  • 如何同时运行多个插入脚本?
  • WCU的限制为100或1,000或10,000时,插入方法会有什么不同?

1 个答案:

答案 0 :(得分:1)

实际上,是的,您可以使用批处理写入并增加预配置的写入容量,因为大约1ko数据大约需要1个写入容量单位需要1秒,因此您可以将其增加到100个写入容量单位来每秒写入100行,(进行数学运算以计算所需的时间,并根据需要增加更多时间)。 同样不要忘记,batchwrite一次只能接受25次写​​入。

阅读docpricing