我有一张超过10亿件物品的大桌子。我想将数据迁移到弹性搜索,但是崩溃后我找不到恢复数据的方法。
如何保存Logstash进行弹性搜索的last(id)? 。
例如,如果重新启动后发生崩溃,我想获取最后保存的项目并继续迁移。
我查看了sql_last_value
,但不幸的是,只有完成任务后,它的保存最后一个值。
我的配置
input {
jdbc {
jdbc_connection_string => "jdbc:mysql://localhost:3306/testdb"
# The user we wish to execute our statement as
jdbc_user => "tr"
jdbc_password => "tr"
# The path to our downloaded jdbc driver
jdbc_driver_library => "/home/comp/Downloads/mysql-connector-java-5.1.38.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
# our query
statement => "Select * from test where id > :sql_last_value"
use_column_value => true
tracking_column => "id"
jdbc_fetch_size => 1000
}
}