我在Windows 7计算机上本地安装了Logstash和Elasticsearch。 我在Logstash中安装了logstash-input-jdbc。
我在MySql数据库中有数据,我使用Logstash发送给Elasticsearch,因此我可以生成一些报告。
执行此操作的Logstash配置文件。
input {
jdbc {
jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
jdbc_user => "root"
jdbc_password => ""
statement => "SELECT * FROM transport.audit"
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
}
}
output {
elasticsearch {
hosts => ["localhost:9200"]
index => "transport-audit-%{+YYYY.mm.dd}"
}
}
这样可行,Logstash在运行时将数据发送到Elasticsearch:
bin\logstash agent -f \logstash\conf\01_input.conf
这是该命令的响应
io/console not supported; tty will not be manipulated
Default settings used: Filter workers: 4
Logstash startup completed
Logstash shutdown completed
为什么Logstash会关闭?
当我检查Elasticsearch数据时,如果我再次运行该命令,数据将被重新编入索引(重复)。
这是Mysql数据:
我想做的事(实现):
我希望Logstash能够运行并监听审计表上的新条目,并仅对该数据进行索引(当新的审计条目输入到表中时,Logstash会知道并将该条目发送到Elasticsearch。
另外,为什么Logstash在我运行该命令时会停止,如果它没有运行?我是Logstash和Elasticsearch的新手。
谢谢
我也在Elastic forum发布了相同的问题,如果我得到答案,我会在这里发帖以帮助其他人。
答案 0 :(得分:4)
默认情况下,logstash-input-jdbc插件将运行一次SELECT语句,然后退出。您可以通过在配置中添加带有cron表达式的schedule
parameter来更改此行为,如下所示:
int
结果是SELECT语句现在每分钟运行一次。
如果你的MySQL表中有一个日期字段(但似乎不是这样),你也可以使用预定义的input {
jdbc {
jdbc_driver_library => "C:/logstash/lib/mysql-connector-java-5.1.37-bin.jar"
jdbc_driver_class => "com.mysql.jdbc.Driver"
jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/test"
jdbc_user => "root"
jdbc_password => ""
statement => "SELECT * FROM transport.audit"
schedule => "* * * * *" <----- add this line
jdbc_paging_enabled => "true"
jdbc_page_size => "50000"
}
}
参数,以便不会在每次运行时重新索引所有记录。该参数可以在您的查询中使用,如下所示:
sql_last_start