Logstash jdbc保存最后一个插入ID

时间:2018-09-10 11:50:54

标签: logstash

我有一张超过10亿件物品的大桌子。我想将数据迁移到弹性搜索,但是崩溃后我找不到恢复数据的方法。 如何保存Logstash进行弹性搜索的last(id)? 。 例如,如果重新启动后发生崩溃,我想获取最后保存的项目并继续迁移。 我查看了sql_last_value,但不幸的是,只有完成任务后,它的保存最后一个值。

我的配置

input {
  jdbc { 
    jdbc_connection_string => "jdbc:mysql://localhost:3306/testdb"
    # The user we wish to execute our statement as
    jdbc_user => "tr"
    jdbc_password => "tr"
    # The path to our downloaded jdbc driver
    jdbc_driver_library => "/home/comp/Downloads/mysql-connector-java-5.1.38.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    # our query
    statement => "Select * from test where id > :sql_last_value"
    use_column_value => true
    tracking_column => "id"
    jdbc_fetch_size => 1000

    }
  }

0 个答案:

没有答案