Hbase vs Cassandra或任何其他用于系统监控应用程序的大数据平台

Question

我想为我的服务器制作一个系统监控应用程序，它每分钟收集超过30k个数据点，用于各种应用程序，如mysql，memcached，apache等。我想知道哪个平台最适合用于这样的应用程序。我的主要选择是HBase和Cassandra。

如果我必须使用HBase，那么查询的行键应该是必须回答特定ip或主机名或运行特定应用程序或特定数据中心或特定群集的所有机器的问题。鉴于所有参数在相当长的一段时间内是变化的，并且识别特定机器的唯一方法是其UUID。此外，没有必要基于uuid查询，但它的ip或应用程序类型和应用程序和进程。

由于查询汇总并在hbase中向下钻取查询并不容易，因此在cassandra中很容易。在设计这样一个系统时，我的偏好应该是什么。还可以选择哪些其他平台？

还请指定此类系统的设计规范和数据模式应该是什么

Answer 1

我认为Splunk正是您所寻找的。他们专注于使用大数据技术收集和分析日志文件。 他们还提供免费版本，当然有限。

如果您想使用开源软件，我建议您将任务分为两部分：a）存储，b）查询/分析。 “拆分”方法的优势在于您可以选择合适的分析系统。

对于a）我建议使用HDFS和日志文件收集器，例如Flume或Chuckwa。您也可以使用这些系统进行一些预过滤。

b）查看Hive，Drill或Spark等系统。 我不确定HBase是否是最好的主意，因为你从早期就限制了分析的范围。