我目前正在将系统从使用MongoDB迁移到DynamoDB。 我面临的最新挑战是如何加快从MongoDB到DynamoDB的数据导入。
目前,我们有一个PHP脚本从MongoDB读取数据,然后BulkWrites一次将数据25条记录到DynamoDB。写入数据非常慢,并且以当前速率(即使将写入容量设置为10000)后,还需要24天才能完成传输。
例如,从MongoDB读取12904条记录需要3秒钟。 将这些相同的记录写入DynamoDB需要100秒。
如何才能提高效率? 我即将研究线程,所以我可以进行更多的并行编写,但它在Node或Python中更有效率而不是PHP吗?
谢谢!