嗨,我们有一个表,该表对项目具有多态性,我们想找到一种在一个logstash配置中更新不同索引的方法。
下面是一个示例表。 item_type
列表示类型(例如Pen, Post, Collection
),item_id
是数据库中该项的外键,而score
是根据cron和每隔一段时间更新一次,从而更新我们的updated_at
列。
使用logstash jdbc插件,我们想查询数据,然后将其推送到ES。但是,我没有一种方法(除了logstash配置和每种项目类型的sql查询之外)动态地将更新推送到索引。在理想的情况下,我们希望从上表中获取输入(请参见下面的输入代码)
输入
input {
jdbc {
jdbc_driver_library => "/usr/share/logstash/bin/mysql-connector-java-8.0.15.jar"
jdbc_driver_class => "com.mysql.cj.jdbc.Driver"
# useCursorFetch needed cause jdbc_fetch_size not working??
# https://discuss.elastic.co/t/logstash-jdbc-plugin/84874/2
# https://stackoverflow.com/a/10772407
jdbc_connection_string => "jdbc:mysql://${CP_LS_SQL_HOST}:${CP_LS_SQL_PORT}/${CP_LS_SQL_DB}?useCursorFetch=true&autoReconnect=true&failOverReadOnly=false&maxReconnects=10"
statement => "select * from view_elastic_popularity_all where updated_at > :sql_last_value"
jdbc_user => "${CP_LS_SQL_USER}"
jdbc_password => "${CP_LS_SQL_PASSWORD}"
jdbc_fetch_size => "${CP_LS_FETCH_SIZE}"
last_run_metadata_path => "/usr/share/logstash/cp/last_run_files/last_run_popularity_live"
jdbc_page_size => '10000'
use_column_value => true
tracking_column => 'updated_at'
tracking_column_type => 'timestamp'
schedule => "* * * * *"
}
}
然后通过输出插件对ES运行更新查询(请参见下面的输出代码)
输出
output {
elasticsearch {
index => "HOW_DO_WE_DYNAMICALLY_SET_INDEX_BASED_ON_ITEM_TYPE?"
document_id => "%{id}"
hosts => ["${CP_LS_ES_HOST}:${CP_LS_ES_PORT}"]
user => "${CP_LS_ES_USER}"
password => "${CP_LS_ES_PASSWORD}"
}
}
我们不能成为第一个遇到此问题的公司。我们将如何构造输出?
答案 0 :(得分:0)
您可以通过使用事件消息中的字段来动态设置索引的名称,就像动态设置document_id一样。
output {
elasticsearch {
index => "%{item_type}"
document_id => "%{id}"
hosts => ["${CP_LS_ES_HOST}:${CP_LS_ES_PORT}"]
user => "${CP_LS_ES_USER}"
password => "${CP_LS_ES_PASSWORD}"
}
}