在logstash中使用sql_last_value的表的id?

时间:2016-11-02 11:16:13

标签: elasticsearch jdbc logstash logstash-configuration elasticsearch-5

我在jdbc输入的logstash插件中有MySQL声明。

statement => "SELECT * from TEST where id > :sql_last_value"

我的表格中没有任何datedatetime字段。所以我试图通过使用scheduler逐分钟检查更新索引,是否已将任何新行添加到表中。

我应该只能更新新记录,而不是更新现有记录的现有值更改。所以要做到这一点,我有一个logstash输入:

input {
    jdbc {
        jdbc_connection_string => "jdbc:mysql://myhostmachine:3306/mydb" 
        jdbc_user => "root"
        jdbc_password => "root"
        jdbc_validate_connection => true
        jdbc_driver_library => "/mypath/mysql-connector-java-5.1.39-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_paging_enabled => "true"
        jdbc_page_size => "50000"
        schedule => "* * * * *"
        statement => "SELECT * from mytable where id > :sql_last_value"
        use_column_value => true
        tracking_column => id
        last_run_metadata_path => "/path/.logstash_jdbc_last_run"
        clean_run => true
    }
}

因此,每当我创建索引并运行此logstash文件以上传文档时,它都不会上传。文档计数显示为零。我确保在运行.logstash_jdbc_last_run conf文件之前删除了logstash

logstash控制台输出的一部分:

  

[2016-11-02T16:33:00,294] [INFO] [logstash.inputs.jdbc]   (0.002000s)SELECT count(*)AS count FROM(SELECT * from TEST where   id> '2016-11-02 11:02:00')AS t1 LIMIT 1

并且通过逐分钟检查这是正确的,但是它没有得到记录。它是如何工作的?

我错过了什么吗?任何帮助都可以得到赞赏。

1 个答案:

答案 0 :(得分:5)

您需要像这样修改您的logstash配置:

jdbc { 
  jdbc_connection_string => "jdbc:mysql://myhostmachine:3306/mydb" 
  jdbc_user => "root" 
  jdbc_password => "root" 
  jdbc_validate_connection => true 
  jdbc_driver_library => "/mypath/mysql-connector-java-5.1.39-bin.jar" 
  jdbc_driver_class => "com.mysql.jdbc.Driver" 
  jdbc_paging_enabled => "true" 
  jdbc_page_size => "50000" 
  schedule => "* * * * *" 
  statement => "SELECT * from TEST where id > :sql_last_value" 
  use_column_value => true 
  tracking_column => "id" 
  tracking_column_type => "numeric" 
  clean_run => true 
  last_run_metadata_path => "/mypath/.logstash_jdbc_last_run" 
}

在您的情况下,最后五个设置很重要。另外,请确保删除.logstash_jdbc_last_run文件,即使clean_run => true已执行此操作。