用于记录的最佳NoSQL解决方案

Question

我正在开发一个项目，该项目从在线流媒体平台上记录了大量有关观众的信息。 MySQL解决方案今天的问题是查询太慢，等等。 即使有缩放和更好的性能调整，现在也可以工作，因为只有很多数据实时写入/读取。

对我来说，什么是最好的（最好的）NoSQL解决方案？

额外：

• 我们目前还使用Amazon Web服务存储数据。
• 使用Java API，首选开源解决方案。
• 面向对象。

Answer 1

不完全是NoSQL解决方案，但你看过Scribe（来自Facebook）吗？您可以使用http://code.google.com/p/scribe-log4j/从Java编写

Answer 2

我会花些时间看看这些选项：

• Cassandra
• MongoDB
• Hadoop的

所有这些解决方案各有利弊，但他们的wiki应该提供足够的信息来帮助您入门。

Answer 3

您可能遇到的第一个挑战是如何通过易于管理可靠地收集大量数据。有一些开源日志收集器实现，例如syslog，Fluentd，Scribe和Flume：）

最大的问题是如何存储和处理数据。正如您所指出的，使用NoSQL解决方案的效果非常好，但您需要根据数据量进行选择。

首先，您可以使用MongoDB存储所有数据，但有时您最终会使用Apache Hadoop来构建可大规模扩展的架构。

这里的poing是你应该有一个分布式日志记录层，它抽象出存储后端，并为数据量选择合适的NoSQL解决方案。

以下是一些将Apache Logs放入MongoDB或Fluentd的Hadoop HDFS的链接。

• Store Apache Logs into MongoDB
• Fluentd + HDFS: Instant Big Data Collection