Azure搜索删除不在数据源中的数据

时间:2018-12-07 15:42:42

标签: azure azure-search

我在Blob存储folder/new/data.json中有一个文件

它包含json数组。

[   
    {
        "name": "a",
        "data": {
            "1":"something1",
            "2":"something2"

        }
    },
    {
        "name": "b",
        "data": {
            "1":"something1",
            "2":"something2"
        }
    }
]

我的数据源正文:

{
    "name" : "datasource",
    "type" : "azureblob",
    "credentials" : { "connectionString" : "MyStorageConnStrning" },
    "container" : { "name" : "mycontaner", "query" : "folder/new" }
}   

我的索引正文:

{
    "name" : "index",
    "fields": [
       { "name": "id", "type": "Edm.String", "key": true, "searchable": false },
       { "name": "name", "type": "Edm.String", "searchable": true, "filterable": false, "sortable": true, "facetable": true},
       { "name": "data", "type": "Edm.String", "searchable": false}
    ]
}

索引器主体:

{
    "name" : "indexer",
    "dataSourceName" : "datasource",
    "targetIndexName" : "index",
    "parameters" : { "configuration" : { "parsingMode" : "jsonArray" } }
}

创建后,我可以搜索ab并获得结果。

现在我已将folder/new/data.json修改为

[   
    {
        "name": "aa",
        "data": {
            "1":"something1",
            "2":"something2"

        }
    }
]

仅运行索引器只会覆盖

{
    "name": "a",
    "data": {
       "1":"something1",
       "2":"something2"

    }
}

但是

{
    "name": "b",
    "data": {
        "1":"something1",
        "2":"something2"
    }
}

仍然存在。表示b仍可搜索。

我该怎么做才能删除b

更珍贵的是,在更改数据源文件并且需要相应更改索引数据时该怎么办?从数据源中删除的数据需要从索引中删除,而数据源中的新数据需要建立索引。

1 个答案:

答案 0 :(得分:1)

Nafis,

您应该考虑添加soft delete policy。仅从数据源中删除数据并不意味着删除现有记录。如果您向json对象添加了“ IsDeleted”字段,将其设置为true,然后再次运行索引器,则记录将被删除

[   
    {
    "name": "a",
    "data": {
        "1":"something1",
        "2":"something2"
       }
    },
    {
    "name": "b",
    "data": {
        "1":"something1",
        "2":"something2"
      },
    "isDeleted": true
    }
]

一旦索引器再次运行,您就可以安全地从json数组中删除“ b”对象。我建议确保您的索引器is on a schedule,以便在一段时间之后自动删除删除内容。

如果您还有其他问题,请告诉我。

马特