日志存储/索引工具

Question

具有良好搜索API的系统日志存储/索引的最佳工具。我想在我的整个系统上实现像

这样的东西

logs.put({
   type: 'SOME_USER_ACTION', 
   result: 'SUCCESS', detail:'The user make some action on system', 
   user: 'ID:Name|user@email.com'
});

在管理部分，我需要取回这些数据：

logs.search({
   type: 'SOME_USER_ACTION', 
   user: 'ID'
});

我不是在寻找一些图书馆，而是寻找工具。我已经看过Graylog和Elastic Stack，我不确定这些是不是最好的选择。也许亚马逊有更好的东西，但我不知道。

PS：如果需要多个工具，流程示例将很有帮助

Answer 1

• 您可能需要查看AWS CloudWatch Logs。它为您提供API来管理日志组，发布日志事件，使用过滤器和分页搜索日志。

• 我通常在每个实例上设置AWS CloudWatch日志代理 docker容器，并使用以下命令将所有日志发布到AWS CloudWatch 守护进程。所有lambda函数日志也会创建为CloudWatch日志。访问 Cloud Watch Logs Agent了解更多详情。

• 如果您已经在使用AWS，那么CloudWatch是推荐的方式 可以开箱即用。

• 您甚至可以将日志保留策略配置为1天到x个月 然后归档到Amazon Glacier以供将来检索。你是 收取每月摄入的GB数量+总金额 每月存储的数据。