如何修复“ DocumentDB数据迁移工具”

Question

我正在使用DocumentDB数据迁移工具将AWS DynamoDB数据迁移到Azure CosmosDB，但是对于大型表数据却出现了错误。

看来DocumentDB数据迁移工具最大的数据传输容量为500k字节，但是我有一个dynamo DB表，该表的数据约为315 Mb。 因此，还有其他方法/工具可以将数据从Dynamo DB传输到cosmos DB吗？

我还尝试将dynamo DB转换为JSON文件并将其上传到cosmos DB集合，但是cosmos DB集合的最大大小为2mb。 在image2中，仅显示大数据文件时出现错误，而我尝试使用小于500k字节的文件时，该文件正常工作。

预览阶段

错误图片

Answer 1

  

因此，还有其他方法/工具可用于从Dynamo DB进行数据传输   到宇宙数据库？

您似乎被Cosmos DB的限制所困。由于您可以将数据转换为json文件，因此可以考虑采用以下方法。

1。将json文件存储到Azure Blob Storage中。

2。使用Azure数据工厂数据工厂Copy Activity将数据从blob storage传输到cosmos db。

我本来以为您可能会遇到大数据的性能瓶颈，请参阅此document。

如果仍然无法顺利进行传输，我建议您使用代码对json文件进行分段，以使其大小不能超过2MB。

提示：顺便说一句，您可以投票赞成feedback，以推动在Azure数据工厂中添加Amazon DynamoDb数据源的进度。

谢谢。

Answer 2

因为我在 dyanamo DB 中有大约 40 GB 的数据，并希望将其移动到 Cosmos DB。 但是 cosmos DB 有一些限制，虽然直接复制将不允许 json 数据大小超过 2 mb。

我使用相同的工具并将 DynamoDB 数据转换为 json 格式并存储在服务器上，完成后我使用相同的 DocumentDB 数据迁移工具将该 json 数据上传到 cosmos DB。

感谢您的回复。