Logstash - 仅使用JDBC导入新行或更新的行

时间:2017-02-26 23:25:04

标签: database elasticsearch logstash logstash-jdbc

现在我已经使用JDBC插件让Logstash导入我的MSSQL数据库的微型版本。我已经安排每个JDBC输入每分钟运行一次以更新Elasticsearch。要进行更新,我目前只是重新导入数据库中的每个表和行,并将所有行添加到Elasticsearch。当我开始使用完整数据库时,这将是非常低效的,因为整个数据库需要花费一分多钟。还有另一种方法可以让Elasticsearch与我的数据库保持同步吗?我试图使用'sql_last_value'参数仅将新行导入数据库,但这只适用于我的数据库表的'id'是一个数字,并且表中的每个新条目的数字都大于最后。数据库中的某些表具有可以完全随机的“id”(即“43f4-f43ef-e44454r”),它不能与'sql_last_value'一起使用,因为它们无法比较。我根本无法修改实际的数据库,这削减了我很多潜在的解决方案。我觉得好像我没有选择,所以有人可以提出任何我可以尝试的建议吗?

0 个答案:

没有答案