splunk更换水槽或卡夫卡

Question

我需要你一个建议的帮助。在当前场景中，我们在云上有一个应用程序，通过splunk，我们可以查看日志。我正在考虑使用像flume / kafka这样的大数据工具实现这一点，我可以从云中获取实时日志数据（目前由splunk采用），并将其提供给我们的HDFS。这里很少关注

  

  
1. 这是可行的吗？
  
2. 用于日志搜索（与splunk相同的功能）
   
  

我们可以使用哪种工具？

Answer 1

如果您只想将日志移动到HDFS，可以将Flume与HDFS接收器一起使用 还有其他一些选择，如 -

  

Logstash

您可以使用其他框架（如 Elasticsearch 和 Kibana ）为日志提供更多功能。