将大量数据写入DynamoDB的最有效方法是什么

时间:2018-03-23 09:25:34

标签: php mongodb amazon-dynamodb

我目前正在将系统从使用MongoDB迁移到DynamoDB。 我面临的最新挑战是如何加快从MongoDB到DynamoDB的数据导入。

目前,我们有一个PHP脚本从MongoDB读取数据,然后BulkWrites一次将数据25条记录到DynamoDB。写入数据非常慢,并且以当前速率(即使将写入容量设置为10000)后,还需要24天才能完成传输。

例如,从MongoDB读取12904条记录需要3秒钟。 将这些相同的记录写入DynamoDB需要100秒。

如何才能提高效率? 我即将研究线程,所以我可以进行更多的并行编写,但它在Node或Python中更有效率而不是PHP吗?

谢谢!

0 个答案:

没有答案