将65万个文档上传到Azure

时间:2012-06-18 21:29:24

标签: azure

我似乎找不到任何关于批量上传数据到azure的提法。

我有一个包含650,000 pdf文档的文档存储,占用大约1.2 TB的磁盘空间。

通过网络将这些文件上传到Azure将很困难。有没有办法可以邮寄硬盘并让你的团队为我上传它们?

如果没有,你能推荐上传这么多文件的最佳方法吗?

5 个答案:

答案 0 :(得分:3)

也许不是您期望的答案,但您可以使用亚马逊的 AWS Import/Export (这允许您将硬盘邮寄给他们,他们会将其导入您的S3帐户)。

要将数据传输到Windows Azure存储帐户,您可以利用1.7.1 SDK中的一项新功能: StartCopyFromBlob 方法。此方法允许您以异步方式复制特定URL上的文件(您可以使用此方法将所有文件从S3复制到Azure存储帐户)。

阅读以下博客文章,了解完整的工作示例:How to Copy a Bucket from Amazon S3 to Windows Azure Blob Storage using “Copy Blob”

答案 1 :(得分:1)

虽然Azure今天不提供物理摄取过程,但如果您与Azure团队谈得很好,他们可以一次性完成此操作。如果您愿意,我可以为您联系产品团队(dave at greenbutton dot com)。

另外,还有像Aspera这样的解决方案可以通过UDP进行加速数据传输,并且正在Azure中进行beta测试以及Azure媒体服务产品。

我们有一些工具可以帮助解决这个问题http://www.greenbutton.com并利用Aspera的技术。

答案 2 :(得分:1)

由于Windows Azure不支持磁盘发送,最好的办法是使用支持并行上传的第三方应用程序(或编写自己的应用程序)。这样您仍然可以更快地上传。第三方应用程序,如Gladinet,Cloudberry可用于上传数据,但我不确定它们是如何配置以获得最大并行上传以实现最快上传。

如果你决定自己写这里是起点:Asynchronous Parallel Block Blob Transfers with Progress Change Notification

答案 3 :(得分:1)

我知道对于OP来说这有点太迟了,但在Azure管理门户中,在“存储”下,选择您的存储实例,然后单击顶部的“导入/导出”链接。在该屏幕的底部,有一个“创建导入作业”链接和图标。此外,如果您点击最右侧的蓝色帮助图标,则会显示:

在通过网络上传非常昂贵或不可行的情况下,您可以使用Windows Azure导入/导出服务将大量文件数据传输到Windows Azure Blob存储。您还可以使用导入/导出服务以及时且经济高效的方式将驻留在Blob存储中的大量数据传输到本地安装。使用Windows Azure导入/导出服务将数据传输到Blob存储

要将大量文件数据传输到Blob存储,您可以将包含该数据的一个或多个硬盘驱动器发送到Microsoft数据中心,您的数据将上传到您的存储帐户。同样,要从Blob存储中导出数据,您可以将空硬盘驱动器发送到Microsoft数据中心,其中存储帐户中的Blob数据将被复制到您的硬盘驱动器然后返回给您。在发送包含数据的驱动器之前,您将加密驱动器上的数据;当Microsoft导出您要发送给您的数据时,数据也会在发货前加密。

答案 4 :(得分:0)

两个窗口azure存储powershell和azcopy都可以批量上传数据到azure。

对于azure存储powershell,您可以使用ls -File -Recurse | Set-AzureStorageBlobContent -Container upload

您可以参考http://msdn.microsoft.com/en-us/library/dn408487.aspx了解更多详情。

对于azcopy,您可以参考此文章http://blogs.msdn.com/b/windowsazurestorage/archive/2012/12/03/azcopy-uploading-downloading-files-for-windows-azure-blobs.aspx