处理一个巨大的access.log文件

时间:2014-10-09 05:31:18

标签: logstash

我有一个大的access.log文件,包含大约6个月的数据和200K行;我使用了grokdebug来确保线路被正确过滤等;我将logstash的输出存储在Elastic Search v1.1.1中。

我注意到的问题是只创建了一个索引(我运行logstash代理的那一天),其余的条目被忽略;我在logstash网站上读过,默认情况下每天有一个索引;但是如何告诉logstash处理整个文件(并为每天创建相应的索引)?

任何建议都将不胜感激;我已经阅读了文档,但没有找到关于此的更多信息,或者我找不到合适的地方。

1 个答案:

答案 0 :(得分:0)

默认情况下,timestamp字段设置为接收日志的时间。

要使用日志记录中的时间戳覆盖该内容,请使用'date' filter