Question

我在azure blob存储中拥有试用帐户。我尝试从本地计算机上传100000个生成的文件。该操作已持续超过17个小时，仅上传了约77000个文件。由简单的bash脚本创建的所有文件：

for i in {1..100000}
do
    echo $i
    echo $i > $1\\$i.txt
done

上传代码：

using(var stream = File.OpenWrite(textBoxManyUploadFileName.Text))
using(var writer = new StreamWriter(stream)) {
    foreach(var file in Directory.GetFiles(textBoxManyUploadFrom.Text)) {
        Guid id = Guid.NewGuid();
        storage.StoreFile(file, id, ((FileType)comboBoxManyUploadTypes.SelectedItem).Number);
        writer.WriteLine("{0}={1}", id, file);
    }
}

public void StoreFile(Stream stream, Guid id, string container) {
    try {
        var blob = GetBlob(id, container);
        blob.UploadFromStream(stream);
    } catch(StorageException exception) {
        throw TranslateException(exception, id, container);
    }
}

public void StoreFile(string filename, Guid id, int type = 0) {
    using(var stream = File.OpenRead(filename)) {
        StoreFile(stream, id, type);
    }
}

CloudBlob GetBlob(Guid id, string containerName) {
    var container = azureBlobClient.GetContainerReference(containerName);
    if(container.CreateIfNotExist()) {
        container.SetPermissions(new BlobContainerPermissions {
            PublicAccess = BlobContainerPublicAccessType.Container
        });
    }
    return container.GetBlobReference(id.ToString());
}

前10000个文件的上传时间为20-30分钟，然后速度下降。我认为这可能是由于文件名是GUID而Azure尝试构建聚簇索引。怎么加快？有什么问题？

Answer 1

要上传许多小文件，您应该使用多个线程。例如，您可以使用BeginUploadFromStream或Parallel.ForEach。

Answer 2

我在你的代码中注意到的另一件事是你在StoreFile（）函数中调用GetBlob（）函数，然后在你的blob容器上调用CreateIfNotExist（）函数。请注意，此功能还会导致对存储服务的调用，从而增加上传过程的延迟（更不用说每次调用此功能时还要为存储事务收费）。

我建议你在开始blob上传之前只调用一次这个函数。

Azure blob存储 - 上传速度非常慢

2 个答案: