DynamoDB PHP SDK-最快的批量导入方法？

Question

我正在尝试将大约1.1亿条记录批量导入DynamoDB。

使用CFBatchRequest：

    $queue = new CFBatchRequest(800);

然后向它添加800 put_item（）只会导致大约190次写入/秒，奇怪的是每次都会导致cURL错误。我使用的实例大小似乎并不重要。而且我尝试过少于或超过800次。

执行singleton put_item（）非常慢。而且batch_write_item（）没有重试功能，而且它仅限于25。

我读到EMR根本没有使用任何批处理，这里的搜索显示有些人遇到了问题。

有没有更好的方法来接近这个？

Answer 1

1. 您使用的是最新版本的SDK吗？ （此时为1.5.11）
2. 减少请求池的大小将减少批处理错误的可能性。如果你把它设置为800，你几乎肯定会淹没cURL。
3. 如果这没有帮助，PM我在官方AWS论坛上引用这个SO线程，我们可以聊聊这个。