如何每天存储和索引数十亿条日志

Question

有时候，我们遇到了一些关于某些客户失败的请求的日志。我们从潜在客户那里得知，我们的服务每天处理数十亿个请求，并且出于存储和网络IO性能原因，我们无法记录每个请求响应 。请在任何可以吸收这种规模的日志并允许几乎实时搜索的系统上共享一些指针。

简而言之：我们如何记录每天100亿个请求的请求-响应日志以及灵活地搜索最近N天的数据

Answer 1

我建议使用Elasticsearch技术。它几乎可以处理任何事情，并且具有出色的日志记录设计。