Elasticsearch - 缺少数据

Question

我一直计划在我们的生产环境中使用ELK，似乎遇到了一个奇怪的问题 -

问题在于，在加载生产日志文件的样本时，我意识到Filebeat发布的事件数量与我们在kibana中看到的事件存在巨大的不匹配。我的第一个疑问是filebeat，但我可以验证所有事件是否已在logstash中成功收到。

我还检查了logstash（通过启用调试模式）并且可以看到所有事件都已收到并处理（我正在使用以下过滤器date，json）并且我可以看到它们已成功处理

但是当我在kibana中搜索时，我只能看到实际发布的日志数量的百分比（例如350K中只有16000个）。 logstash或elasticsearch日志中没有异常或错误。

到目前为止，我尝试通过执行以下操作来覆盖整个数据：

1. 停止了ES，Logstash和kibana的所有流程。
2. 删除了所有索引文件，清除了缓存，删除了映射
3. 停止了filebeat，删除了注册表文件（因为它在windows中运行）
4. 重新启动的elasticsearch，logstash和filebeat（按此顺序）

但结果相同。 8个记录中只有2个（在缩短的文件中），当我使用完整文件

时甚至更少

我尝试将kibana的时间窗口增加到10年（:)），看看他们是否被推到了错误的一年却什么也没得到

我已经阅读了与丢失数据相关的几乎所有线程，但似乎没有任何工作。

任何指针都会有所帮助！