使用Splunk监控AmazonS3日志？

Question

我们有一个庞大的扩展用户网络，我们使用徽章进行跟踪。总流量每月接近6000万印象。我们目前正在考虑从一个相当慢的，基于数据库的日志记录解决方案（在PHP-messy上定制...）转换为依赖于Amazon S3日志和Splunk的简单的基于日志的替代方案。

在使用Splunk进行其他分析任务后，我非常喜欢它。但目前尚不清楚如何在系统中设置S3这样的源代码。似乎远程数据源需要安装Universal Forwarder，这不是那里的选择。

有关于此的任何想法吗？

Answer 1

答案非常晚，但我一直在寻找相同的东西，并找到了一个符合你想要的Splunk应用程序http://apps.splunk.com/app/1137/。我还没试过。

Answer 2

我建议将j-son预处理数据记录到documentdb数据库。例如，使用符合您的场景的azure队列或simmilar服务总线消息传递技术以及azure documentdb。 因此，我将保留基于数据库的方法，并将其修改为无架构的易于扩展的基于文档的数据库。

Answer 3

我使用AWS Marketplace中的http://www.insight4storage.com/来跟踪我的AWS S3存储使用总数，包括前缀，存储桶或存储类;加上它显示了以前的版本存储前缀和每桶。除了UI和Web服务API之外，它还有一个设置可以将S3数据保存为可能适用于您的用例的splunk格式日志。

Answer 4

您使用Splunk Add-On for AWS。

这是我的理解，

1. 创建一个Splunk实例。使用网站版本或内部部署 splunk的AMI在运行splunk的地方创建EC2。

2. 在EC2上为AWS应用程序安装Splunk加载项。

3. 根据输入日志类型（例如Cloudtrail日志，Config日志，通用日志等）配置加载项并提供AWS账户ID或IAM角色等参数。

4. 附加组件将在指定的时间（默认为30秒）后自动ping AWS S3源并获取最新日志。

对于通用用例（如我们的用例），您可以尝试配置Generic S3 input for Splunk