用于PostgreSQL数据库复制的logstash输入插件(忽略上次运行状态)

时间:2018-07-23 15:03:25

标签: postgresql jdbc logstash logstash-configuration

我正在使用jdbc插件从postgresql db获取数据,它适用于整个导出,并且能够提取数据,但是根据保存状态,每次查询所有数据时,它都无法正常工作重复。

input 
{
jdbc {
jdbc_connection_string => "jdbc:postgresql://x.x.x.x:5432/dodb"
jdbc_user => "myuser"
jdbc_password => "passsword"
jdbc_validate_connection => true
jdbc_driver_library => "/opt/postgresql-9.4.1207.jar"
jdbc_driver_class => "org.postgresql.Driver"
statement => "select id,timestamp,distributed_query_id,distributed_query_task_id, "columns"->>'uid' as uid, "columns"->>'name' as name from distributed_query_result;"
schedule => "* * * * *"
use_column_value => true
tracking_column => "id"
tracking_column_type => "numeric"
clean_run => true
}
}
output
{
kafka{
topic_id => "psql-logs"
bootstrap_servers => "x.x.x.x:9092"
codec => "json"
}
}

我检查了.logstash_jdbc_last_run。元数据状态会根据需要进行更新,但插件仍会在每次运行时从表中导入整个数据。

任何帮助!!预先感谢

0 个答案:

没有答案