分布式日志系统

Question

我需要将日志存储在分布式文件系统中。

假设我有很多类型的日志。每种日志类型都记录在文件中。但是这个文件可能很大，所以它必须分布在许多节点上（复制以保持数据的持久性）。

这些文件必须支持追加/获取操作。

是否有分布式系统可以满足我的需求？

谢谢！

Answer 1

我会推荐Flume，一个来自Cloudera人员的日志拉动基础设施：

http://github.com/cloudera/flume

您还可以在Facebook上试用Scribe：

http://github.com/facebook/scribe

Answer 2

将NAS与像MongoDB这样的无SQL数据库结合使用，您将具有分布式，大型和容错性。

当然，如果没有更多具体细节，例如数据量，日志结构（或缺少数据）等，推荐真正的产品真的很难。

例如，如果通过“巨大”实际意味着2TB或更少，并且数据是高度结构化的，那么在2机器集群环境中进行故障转移的常规SQL服务器就可以了。

但是，如果“巨大”表示exabyte级别或更高级别和/或非结构化数据，则需要几个大型（且非常昂贵）的NAS设备。在其上运行一组无故障数据库，这些数据库是为故障/覆盖和/或多主关系而聚类的......

Answer 3

您可以使用Logstash收集日志，并使用Elasticsearch群集集中日志。本地日志可能是滚动日志文件，因此它们仍然很小。 此外，您可以使用Graylog2来分析和查看日志。