在output_data到Flastic Search中的FluentD中使用tail和logrotate时重复记录

Question

目前，我遇到了以下问题：

1. 我通过该URL示例使用Elastic Search + Kibana设置FluentD： http://www.fluentd.org/guides/recipes/elasticsearch-and-s3

2. 配置成功后，我在access.log和error.log中测试尾部进程。 我在FluentD（td-agent）之后看到Elastic Search中的重复记录跟踪尾部并解析完成日志中的每一行。

示例：

1 /在error.log文件中，我有以下内容： [2014年3月13日19:04:13] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon.ico

2 /在跟踪tail error.log之后，FluentD将该行发布到Elastic Search，格式为JSON： [2014年3月13日19:04:13] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon.ico（想象弹性搜索的JSON） - ＆gt;检查kibana：记录的大小= 1

3 /我在error.log的内容底部添加了1行：

[2014年3月13日19:04:13] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon.ico（1 /中的旧行）

[2014年3月14日15:02:23] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon2.ico（添加了新行）

4 /在跟踪tail error.log之后，FluentD会将这些行发布到Elastic Search，格式为JSON： [2014年3月13日19:04:13] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon.ico（想象弹性搜索的JSON） - ＆gt;检查kibana：记录的大小= 3.内容：

[2014年3月13日19:04:13] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon.ico（想象弹性搜索的JSON） - ＆gt;检查kibana：记录的大小= 1

[2014年3月13日19:04:13] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon.ico( 旧行重复1 / ）

[2014年3月14日15:02:23] [错误] [客户端50.0.134.125]文件不存在：/var/www/favicon2.ico（添加了新行）

所以我看到[2014年3月13日星期四19:04:13]内的记录是重复的。我认为这个问题是由FluentD在解析时引起的。

我在td-agent.conf中的配置文件：



注意：所有内容都在我的localhost中重现。不要将fluentD插件从其他服务器安全转发 谢谢。 问候， 胡志明