Azure在Blob中搜索元数据

时间:2017-09-28 15:05:37

标签: c# azure azure-blob-storage

我试图找到一种方法,只使用与特定数据匹配的元数据来恢复blob存储中的项目。所有字段都有一个名为“FlightNo”的密钥。

我真正想要的是一种查找包含元数据匹配的所有文件(listBlobs)的方法,所以升级,然后遍历该组数据,并找到更多匹配,因为每个文件有5个项目元数据。

这是我迄今为止非常不友好的代码。

 foreach (IListBlobItem item in container.ListBlobs(null, false))
        {
            if (item.GetType() == typeof(CloudBlockBlob))
            {

                CloudBlockBlob blob = (CloudBlockBlob)item;

                blob.FetchAttributes();

                foreach (var metaDataItem in blob.Metadata)
                {
                    dictionary.Add(metaDataItem.Key, metaDataItem.Value);
                }

                if (dictionary.Where(r=>r.Key == "FlightNo" && r.Value == FlightNo).Any())
                {
                    if (dictionary.Where(r => r.Key == "FlightDate" && r.Value == FlightDate).Any())
                    {
                        if (dictionary.Where(r => r.Key == "FromAirport" && r.Value == FromAirport).Any())
                        {
                            if (dictionary.Where(r => r.Key == "ToAirport" && r.Value == ToAirport).Any())
                            {
                                if (dictionary.Where(r => r.Key == "ToAirport" && r.Value == ToAirport).Any())
                                {
                                    retList.Add(new BlobStorage()
                                    {
                                        Filename = blob.Name,
                                        BlobType = blob.BlobType.ToString(),
                                        LastModified = (DateTimeOffset)blob.Properties.LastModified,
                                        ContentType = blob.Properties.ContentType,
                                        Length = blob.Properties.Length,
                                        uri = RemoveSecondary(blob.StorageUri.ToString()),
                                        FlightNo = dictionary.Where(r => r.Key == "FlightNo").Select(r => r.Value).SingleOrDefault(),
                                        Fixture = dictionary.Where(r => r.Key == "FixtureNo").Select(r => r.Value).SingleOrDefault(),
                                        FlightDate = dictionary.Where(r => r.Key == "FlightDate").Select(r => r.Value).SingleOrDefault(),
                                        FromAirport = dictionary.Where(r => r.Key == "FromAirport").Select(r => r.Value).SingleOrDefault(),
                                        ToAirport = dictionary.Where(r => r.Key == "ToAirport").Select(r => r.Value).SingleOrDefault()
                                    });

                                }
                            }
                        }
                    }
                }

                dictionary.Clear();
            }
        }

感谢。斯科特

3 个答案:

答案 0 :(得分:11)

接受的答案非常低效,循环并加载每个Blob及其关联的元数据,以检查值是否与任何合理数据量的表现不相符。

可以使用Azure搜索搜索Blob元数据。可以创建包含Blob自定义元数据的搜索索引。

以下综合文章解释了这一切:

Indexing Documents in Azure Blob Storage with Azure Search
Searching Blob storage with Azure Search

答案 1 :(得分:1)

如果我理解正确您要搜索包含所有5个提到的项元数据的blob。您可以使用以下代码执行此操作。我测试它在我身边,它工作正常。

var connectionString = "storage connection string";
CloudStorageAccount storageAccount = CloudStorageAccount.Parse(connectionString);
CloudBlobClient blobClient = storageAccount.CreateCloudBlobClient();
CloudBlobContainer container = blobClient.GetContainerReference("container");
var blobs = container.ListBlobs();
var blobList = new List<CloudBlockBlob>();
foreach (var item in blobs)
 {
      CloudBlockBlob blob = (CloudBlockBlob)item;

      blob.FetchAttributes();
      if (blob.Metadata.Contains(new KeyValuePair<string, string>("FlightNo", "FlightNoValue")) &&
         blob.Metadata.Contains(new KeyValuePair<string, string>("FlightDate", "FlightDateValue")) &&
         blob.Metadata.Contains(new KeyValuePair<string, string>("FromAirport", "FromAirportValue")) &&
         blob.Metadata.Contains(new KeyValuePair<string, string>("ToAirport", "ToAirportValue")) && 
         blob.Metadata.Contains(new KeyValuePair<string, string>("FixtureNo", "FixtureNoValue")))
      {
          blobList.Add(blob);
      }

答案 2 :(得分:1)

尽管仍处于预览状态,但使用Blob索引,您现在可以对Blob元数据(标签)进行查询搜索。

在找到所需内容之前,您不需要遍历所有blob。

这是full article的摘录:

Blob索引-一个托管二级索引,允许您存储多维对象属性以描述用于Azure Blob存储的数据对象-现在可以在预览中使用。建立在Blob存储之上,Blob Index为您的所有工作负载提供一致的可靠性,可用性和性能。 Blob Index提供了本机对象管理和筛选功能,使您可以基于在数据上设置的属性标签对数据进行分类和查找。