logstash不会将旧日志导入ES

Question

当我启动logstash时，旧日志不会导入ES 只有新的请求日志记录在ES中 现在我在doc中看到了这一点。

即使我设置start_position=>"beginning"，也不会插入旧日志 这只发生在我在linux上运行logstash时。

如果我使用相同的配置运行它，则会导入旧日志 我甚至不需要在Windows上设置start_position=>"beginning"。

对此有何想法？

Answer 1

当您将输入日志读入Logstash时，Logstash会记录其在此文件中读取的位置，即sincedb。

Where to write the sincedb database (keeps track of the current position of monitored log files). 
The default will write sincedb files to some path matching "$HOME/.sincedb*"

因此，如果要导入旧的日志文件，则必须删除$ HOME处的所有.sincedb *。 然后，您需要设置

  

START_POSITION =＆GT;＆＃34;开始＆＃34;

在您的配置文件中。

希望这可以帮到你。

Answer 2

请参阅此行。

此选项仅修改＆＃34;首次联系＆＃34;文件是新的而以前没有见过的情况。如果之前已经看过某个文件，则此选项无效。