我不是'大数据'专家：）
我的场景是生成日志的几个EC2实例。
这些日志基本上是Syslog和应用程序事件（自定义日志）。
我想使用ELK堆栈来捕获日志，应用过滤器和显示数据。
在某些情况下，我想将自定义事件发送到专用队列系统（rabbitMQ）以处理数据（推荐引擎）。
我的问题是，为什么我应该使用像Kafka和Hadoop这样的工具，如果基本上，我想用24小时保留解析日志并使用Debian的日志旋转功能移动它们？
非常感谢你的帮助！抱歉我的英语不好^^
答案 0 :(得分：1)
如果有人感兴趣，我已经用这种方式解决了：
1 - 而不是使用我选择使用Cloud Watch服务的默认日志轮换，基本上它从EC2获取日志并将它们存储在云中。
2 - 对于将数据推送到Logstash我使用了Lambda服务，基本上它是一个可以执行Java，Javascript（Nodejs）或Python代码的环境。它从CloudWatch获取流数据流，我选择通过一个小的Nodejs脚本将日志存储在S3上。
3 - Logstash实例直接从S3使用日志，为此目的有一个插件输入。