AWS Data Pipeline未使用所有DynamoDB的写入配置

Question

我已将3.4亿行数据从DynamoDB导出并转换为S3。我现在正尝试使用数据管道将它们导入回DynamoDB中。

我将表写入配置设置为5600个容量单位，我似乎无法使管道使用超过1000-1200个容量单位（由于度量图形的粒度，很难说出真实的数量）。

我试图增加从属节点的数量以及每个从属节点的实例大小，但是似乎没有什么改变。

有人有什么想法吗？

Answer 1

问题在于表上有二级索引。无论我选择哪种写配置级别，以及EMR中的机器数量如何，我的数量都不能超过1000。我将级别设置为7000，所以不能接受1000。

一旦我删除了二级索引，写配置就达到了极限。