通过Hadoop进行Elasticsearch和Splunk连接

时间:2016-07-31 15:31:55

标签: hadoop elasticsearch splunk

我目前正在试验一家在elasticsearch中拥有日志数据的公司。 (他们目前使用整个ELK堆栈。)

Splunk有一个名为Hunk的插件,可让您从Splunk的界面查询HDFS / Hadoop数据。我能够让这个工作。

我的问题是,有没有办法使用es-hadoop以某种方式“桥接'两个在一起?当Hunk查询我的hdfs时,它最终还会拉入Elasticsearch数据吗?

(他们公司希望看看是否可以使用Splunk而不必复制数据)

谢谢。

1 个答案:

答案 0 :(得分:1)

Splunk在2016年弃用了HUNK,并发布了Hadoop Connect。现在,您可以从HDFS进行读取,写入,浏览和导出。没有与阅读,编写或探索HDFS集群相关的Splunk许可费。因此,您可以使用HDFS中的数据创建统计解决方案,而无需支付费用。 Splunk认为,您希望将汇总数据和精炼数据集放入Splunk,以使其更适合企业用户。 https://www.splunk.com/blog/2012/12/20/connecting-splunk-and-hadoop/