决定选择nosql db进行日志分析

Question

我需要每天分析千兆字节的日志文件。我正在尝试确定要使用的正确的nosql DB。以下是日志文件特征和所需分析的概述：

• 这些日志文件包含结构化数据的混合（与各个供应商的JSON或XML请求响应），以及从代码生成的一些调试行。
• 几乎所有行（除了供应商/开发人员在日志语句中插入换行符的情况。）包含时间戳和sessionID。
• 分析需要根据JSON / XML文档的内容进行查询/聚合。根据文档和供应商的类型，这些文档可以具有不同的格式。很多JSON字段值都是数组。
• 分析需要根据sessionID共同关联不同的文档，例如某种请求的成功响应，供应商针对特定类型的查询返回的平均结果数。

我从LogStash开始，但我必须为每种请求和响应指定架构才能查询。如果供应商更改响应或添加新供应商，该怎么办？ Logstash似乎适用于固定格式的日志，如apache服务器日志。

MongoDB看起来不是很有用，因为聚合的性能对其他用户的博客来说并不是很令人印象深刻。在mongoDB中，我需要使用数组值来爆炸字段，以便能够查询这些数组中的值。这将显着增加数据库大小。

有人还有其他想法吗？