我有一个带有 18360 日志行的日志文件。我有一个分割和分析数据的模式，但不幸的是查询所有的点击数量是当我运行我的logstash配置时，只有 8478 。然后我删除了这个索引中的所有数据，并将命中率降为零。然后我再次运行我的logstash配置，然后我得到 11432 点击。对我来说这看起来很随意，甚至可能会丢失数据。我通过stdin传递日期并使用以下命令来实现此目的：
cat foo.log | /opt/logstash/bin/logstash -f bar.conf
（我也用直接文件作为输入测试了它，命中量仍然是随机的）
这是数据丢失的证据还是其他的？
答案 0 :(得分：1)
执行curl localhost:9200/logstash*/_count以获得可靠的计数。如果这比您预期的要少，那么您确实遇到了数据丢失。
如果是这样，请检查您的elasticsearch日志中的错误，并检查您的logstash是否存在错误。可能导致数据丢失的常见问题：内存不足错误，映射问题，网络超时，文件句柄数量问题等。日志会告诉您。
如果没有，请检查elasticsearch日志以查找kibana正在发送的查询问题。这可能发生。