我在jdbc
输入的logstash
插件中有MySQL声明。
statement => "SELECT * from TEST where id > :sql_last_value"
我的表格中没有任何date
或datetime
字段。所以我试图通过使用scheduler
逐分钟检查更新索引,是否已将任何新行添加到表中。
我应该只能更新新记录,而不是更新现有记录的现有值更改。所以要做到这一点,我有一个logstash
输入:
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://myhostmachine:3306/mydb"
jdbc_user => "root"
jdbc_password => "root"
jdbc_validate_connection => true
jdbc_driver_library => "/mypath/mysql-connector-java-5.1.39-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
schedule => "* * * * *"
statement => "SELECT * from mytable where id > :sql_last_value"
use_column_value => true
tracking_column => id
last_run_metadata_path => "/path/.logstash_jdbc_last_run"
clean_run => true
}
}
因此,每当我创建索引并运行此logstash
文件以上传文档时,它都不会上传。文档计数显示为零。我确保在运行.logstash_jdbc_last_run
conf文件之前删除了logstash
。
logstash控制台输出的一部分:
[2016-11-02T16:33:00,294] [INFO] [logstash.inputs.jdbc] (0.002000s)SELECT count(*)AS
count
FROM(SELECT * from TEST where id> '2016-11-02 11:02:00')ASt1
LIMIT 1
并且通过逐分钟检查这是正确的,但是它没有得到记录。它是如何工作的?
我错过了什么吗?任何帮助都可以得到赞赏。
答案 0 :(得分:5)
您需要像这样修改您的logstash配置:
jdbc {
jdbc_connection_string => "jdbc:mysql://myhostmachine:3306/mydb"
jdbc_user => "root"
jdbc_password => "root"
jdbc_validate_connection => true
jdbc_driver_library => "/mypath/mysql-connector-java-5.1.39-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
schedule => "* * * * *"
statement => "SELECT * from TEST where id > :sql_last_value"
use_column_value => true
tracking_column => "id"
tracking_column_type => "numeric"
clean_run => true
last_run_metadata_path => "/mypath/.logstash_jdbc_last_run"
}
在您的情况下,最后五个设置很重要。另外,请确保删除.logstash_jdbc_last_run
文件,即使clean_run => true
已执行此操作。