如何在Azure搜索的主记录下索引多个Blob?

时间:2019-09-12 08:04:31

标签: c# azure azure-cognitive-search azure-search-.net-sdk

我遵循了this tutorial中描述的步骤。我的情况有些不同:

  • 我不是在索引旅馆和客房,而是在索引候选人和简历。
  • 我使用的是Azure SQL数据库,而不是使用CosmosDB。

在学习本教程之后,我能够创建索引,两个索引器(一个用于SQL DB,一个用于Blobs存储)以及两个数据源。

SQL DB包含我所有的候选项,而存储中包含其所有简历(PDF / DOC / DOCX格式的文件)。每个Blob都有一个元数据“ ResumeCandidateId”,该元数据包含与候选者的“ CandidateId”相同的值。

我的索引包含以下字段:

    [SerializePropertyNamesAsCamelCase]
    public partial class Candidate
    {
        [Key]
        [IsFilterable, IsRetrievable(true), IsSearchable]
        public string CandidateId { get; set; }

        [IsFilterable, IsRetrievable(true), IsSearchable, IsSortable]
        public string LastName { get; set; }

        [IsFilterable, IsRetrievable(true), IsSearchable, IsSortable]
        public string FirstName { get; set; }

        [IsFilterable, IsRetrievable(true), IsSearchable, IsSortable]
        public string Notes { get; set; }

        public ResumeBlob[] ResumeBlobs { get; set; }
    }

    [SerializePropertyNamesAsCamelCase]
    public class ResumeBlob
    {
        [IsRetrievable(true), IsSearchable]
        [Analyzer(AnalyzerName.AsString.StandardLucene)]
        public string content { get; set; }

        [IsRetrievable(true)]
        public string metadata_storage_content_type { get; set; }

        public long metadata_storage_size { get; set; }

        public DateTime metadata_storage_last_modified { get; set; }

        public string metadata_storage_name { get; set; }

        [Key]
        [IsRetrievable(true)]
        public string metadata_storage_path { get; set; }

        [IsRetrievable(true)]
        public string metadata_content_type { get; set; }

        public string metadata_author { get; set; }

        public DateTime metadata_creation_date { get; set; }

        public DateTime metadata_last_modified { get; set; }

        public string ResumeCandidateId { get; set; }
    }

如您所见,一个候选人可以有多个简历。挑战在于如何填充ResumeBlobs属性...

索引器正确索引和映射了来自SQL DB的数据。当我运行Blobs索引器时,它会加载文档,但是不会映射它们,并且它们永远不会显示在搜索中(ResumeBlobs始终为空)。这是用于创建Blobs Indexer的代码:

var blobDataSource = DataSource.AzureBlobStorage(
                name: "azure-blob-test02",
                storageConnectionString: "DefaultEndpointsProtocol=https;AccountName=yyy;AccountKey=xxx;EndpointSuffix=core.windows.net",
                containerName: "2019");

            await searchService.DataSources.CreateOrUpdateAsync(blobDataSource);

            List<FieldMapping> map = new List<FieldMapping> {
                new FieldMapping("ResumeCandidateId", "CandidateId")
            };

            Indexer blobIndexer = new Indexer(
                name: "hotel-rooms-blobs-indexer",
                dataSourceName: blobDataSource.Name,
                targetIndexName: indexName,
                fieldMappings: map,
                //parameters: new IndexingParameters().SetBlobExtractionMode(BlobExtractionMode.ContentAndMetadata).IndexFileNameExtensions(".DOC", ".DOCX", ".PDF", ".HTML", ".HTM"),
                schedule: new IndexingSchedule(TimeSpan.FromDays(1)));

            bool exists = await searchService.Indexers.ExistsAsync(blobIndexer.Name);
            if (exists)
            {
                await searchService.Indexers.ResetAsync(blobIndexer.Name);
            }
            await searchService.Indexers.CreateOrUpdateAsync(blobIndexer);

            try
            {
                await searchService.Indexers.RunAsync(blobIndexer.Name);
            }
            catch (CloudException e) when (e.Response.StatusCode == (HttpStatusCode)429)
            {
                Console.WriteLine("Failed to run indexer: {0}", e.Response.Content);
            }

我评论了blobIndexer的参数,但是即使不评论也得到相同的结果。

当我运行搜索时,这是我得到的示例:

{
    "@odata.context": "https://yyy.search.windows.net/indexes('index-test01')/$metadata#docs(*)",
    "value": [
        {
            "@search.score": 1.2127206,
            "candidateId": "363933d1-7e81-4ed2-b82e-d7496d98db50",
            "lastName": "LAMLAST",
            "firstName": "ZFIRST",
            "notes": "MGA ; SQL ; T-SQL",
            "resumeBlobs": []
        }
    ]
}

“ resumeBlobs”为空。知道如何进行这种映射吗?

1 个答案:

答案 0 :(得分:2)

AFAIK,Azure搜索不支持实现方案时必需的集合合并功能。

一种替代方法是为简历创建一个单独的索引,并将简历索引器指向该索引。这意味着您的某些搜索方案将必须命中两个索引,但这是一条前进的道路。