Splunk和其他数据库解决方案

时间:2012-10-24 15:09:35

标签: database hadoop bigdata splunk

我需要编写一个存储大量数据的系统,包括结构化数据和非结构化数据。我的查询将查找文本和二进制信息。

我正在寻找符合这些要求的解决方案。我遇到了Splunk,它似乎非常用户友好,并提供了一个很好的API。但是,它似乎非常面向日志,似乎它只支持文本搜索(没有二进制)。我的数据不是日志,只需要搜索大量原始文本/二进制数据...

所以我的问题是:

  1. Splunk可以很好地解决我的问题吗?有没有办法进行二元搜索?
  2. 是否有更好的解决方案?也许Hadoop(我读了一下,再说一次,我不确定那是不是我要找的东西)?
  3. 谢谢!

1 个答案:

答案 0 :(得分:1)

Splunk将支持各种非结构化,半结构化和结构化的机器数据,日志只是机器数据的一个例子。其他可能是系统日志提要,JMX / SNMP指标,操作系统命令输出,呼叫详细记录,点击流指标,专有管理/监控界面输出,社交媒体提要等等。列表非常广泛。

就二进制数据而言,您需要首先将其解析出来并将其解码为文本,并且许多人确实这样做,即:捕获网络的二进制数据,例如专有协议,并对其进行解码。

另外,请注意,Splunk不使用数据库,它会将数据收集并索引到磁盘上的简单压缩文件格式。然后,它的体系结构允许它向外扩展以允许收集和搜索所有这些数据大规模。