删除弹性搜索河流插件中未更新的记录

时间:2015-08-22 18:24:54

标签: elasticsearch elasticsearch-plugin elasticsearch-river

在弹性搜索河中,如果我在mysql中删除了一条记录,它仍然显示在索引中。我也启用了自动提交。如何使mysql和弹性搜索同步,以及如何在弹性中进行delta-imports?

   {
"type" : "jdbc",
"jdbc" : {
    "driver" : "com.mysql.jdbc.Driver",
    "url" : "jdbc:mysql://localhost:3306/testrivet",
    "user" : "root",
    "password" : "Gemini*123",
    "sql" : [
                        { 
                             "statement" : "select *,empid as _id from empdata"

                        }
       ],
    "strategy" : "simple",
 "schedule" : "0 0-59 0-23 ? * *",
 "autocommit" : true,
 "metrics": {enabled:true}
    },
    "index" : {
   "autocommit":true
    }
}

1 个答案:

答案 0 :(得分:2)

实际上,如果从您的数据库中删除了一条记录,那么您的JDBC河将无法再检索它以删除ES中的相应记录。

替代方案是"软删除"通过设置标志(即新的布尔列)从数据库中记录。记录处于活动状态时标志为true,删除记录时为false。这样,当您的导入过程运行时,您将获得所有记录,并且根据该标记,您知道必须从Elasticsearch中删除文档。

还有其他方法,但它们涉及添加另一个组件,所以如果这样做,我建议这样做。