用于初始sql_last_value的Logstash jdbc-input-plugin配置

时间:2017-08-14 10:08:51

标签: oracle elasticsearch logstash logstash-jdbc

我在Oracle数据库和ElasticSearch实例中同步数据 数据库表"SYNC_TABLE"包含以下列:"ID",其为NUMBER,"LAST_MODIFICATION" - TIMESTAMP,"TEXT" - VARCHAR2。

我使用带有jdbc-input-plugin的Logstash来定期执行数据同步。

这是Logstash配置文件:

input { 
  jdbc {
    jdbc_driver_library => "ojdbc6.jar"
    jdbc_driver_class => "Java::oracle.jdbc.driver.OracleDriver"
    jdbc_connection_string => "jdbc:oracle:thin:@localhost:1521:XE"
    jdbc_user => "******"
    jdbc_password => "******"
    schedule => "* * * * *"
    statement => "SELECT * from SYNC_TABLE where LAST_MODIFICATION >= :sql_last_value"
    tracking_column => "LAST_MODIFICATION"
    tracking_column_type => "timestamp"
    use_column_value => true
  }
}
output {
  elasticsearch { 
    index => "SYNC_TABLE"
    document_type => "SYNCED_DATA"
    document_id => "%{ID}"
    hosts => "localhost:9200"
  }
  stdout { codec => rubydebug }
}

我想在第一次运行时导入所有数据,然后在最后一次运行和当前时间之间仅同步差异。 所以我希望Logstash进行以下查询:

SELECT * from SYNC_TABLE where LAST_MODIFICATION >= '1 January 1970 00:00'

然后定期

SELECT * from SYNC_TABLE where LAST_MODIFICATION >= 'time of last run'

Documentation说初始值应该是1970年1月1日,但我在日志中看到它需要当前的时间戳。 这是第一个查询:

SELECT * from SYNC_TABLE where LAST_MODIFICATION >= TIMESTAMP '2017-08-14 09:17:00.481000 +00:00'

logstash配置文件中是否有任何错误使logstash使用当前时间戳而不是默认值(' 1970年1月1日00:00')?

1 个答案:

答案 0 :(得分:1)

问题出在.logstash_jdbc_last_run文件中,其中包含先前运行的sql_last_value。 我已删除此文件并重新启动了logstash。