如何将174 GB的数据存入我的Azure表存储

时间:2011-07-12 23:58:16

标签: azure azure-storage azure-table-storage

我需要将174 GB的XML文件放入Azure表存储中,这样做的最佳方法是什么?在上载后,应该解析XML文件并将其内容放入Azure计算实例上的Azure表存储中的不同表中。

3 个答案:

答案 0 :(得分:7)

这是很多数据。今天,进入Windows Azure的唯一方法是通过HTTP上传它们。 174GB将需要很长时间才能通过大多数网络连接上传。

话虽这么说,我建议将XML上传到blob存储,然后运行代码(以工作者角色),从blob存储中提取XML,解析它,并将其写入表。换句话说,使用原始XML进行上传,并将其转换为云中的表,其中延迟较低且带宽较高。

答案 1 :(得分:6)

我会压缩它们并将文件存储在blob存储中。从那里,我将文件拉入工作角色并进行实际插入。要记住的事情:

  1. 带宽在Windows Azure中是免费的,因此上传blob只需花费时间。
  2. 存储事务不是免费的,因此您应尽可能尝试使用批量插入(相同的表,相同的分区键)。 1M插入将是1美元。
  3. 您将在Windows Azure中获得最快的性能。在实例之间并行下载文件(使用租约进行跟踪)并执行插入。

答案 2 :(得分:0)

可以在vm实例中使用Azure Drive。您将文件上传到vm,然后上传到Azuredrive驱动器。