在Azure表存储中插入140亿条记录

时间:2016-01-23 08:28:57

标签: azure azure-table-storage

在我的一个项目中,我在每个月中旬收到客户订单详细信息,这是一个大约140亿行文件。我需要在1周内将它们上传到我的系统(每条记录1行),然后用户可以查询。

我决定根据价格和性能考虑使用表存储来存储。但我发现表存储的性能是“每个分区每秒2000个实体”和“每个帐户每秒20,000个实体”。 https://azure.microsoft.com/en-us/documentation/articles/storage-scalability-targets/

这意味着如果我使用1个存储帐户,我需要大约1个月才能上传它们,这是不可接受的。

我可以在1周内加快完成上传任务的任何解决方案吗?

1 个答案:

答案 0 :(得分:2)

对此的简单回答是使用多个存储帐户。如果您对数据进行分区并将其条带化为多个存储帐户,则可以从中获得所需的性能。您只需要另一个层来聚合数据。

您可能会有一个较慢的进程,即在后台创建一个大型主表。

您可能已经发现了这一点,但有关将大型数据集导入Azure表的优秀article