配置DyanmoDB读取容量单位以执行粘合作业

时间:2019-12-19 07:28:12

标签: amazon-dynamodb aws-glue

我正在运行粘合作业,以将数据从dynamoDB移至redshift。表的当前已配置RCU为300,表具有大约50GB的数据(预计会随着时间增长)。我们正常消耗的RCU平均接近100。我们已将dynamo配置为在已配置的RCU消耗的60%上自动缩放。胶水作业配置为使用35%的RCU。我们无法承受对生产流量的任何影响。

完成上述配置后,我们的工作将花费48小时以上。如果我将dyanmo的RCU增加到1500,然后运行作业,则它会在8个小时内完成。

我想将其安排为每周工作,因此无法每次手动更新发电机容量。在胶水作业运行之前动态增加dynamo RCU并在作业完成之后减少动态dcn的标准方法是什么? 处理该情况的任何其他方式也将被理解。

0 个答案:

没有答案