流利:使用多个来源与mongo中的分裂

时间:2014-04-11 01:27:50

标签: mongodb fluentd

我们使用流畅的in_tail插件从apache访问日志文件加载日志,并使用out_mongo插件加载到mongodb。我们在日志文件中有大约10种不同类型的日志消息。理想情况下,将它们保存在单独的mongo集合中,以便可以为它们中的每一个单独设置TTL(或上限集合大小)。只是想知道这两种方法中哪一种更好:

  1. 在流畅的配置文件中保留单独的<source>映射,所有这些映射都在同一个日志文件中,但使用不同的format正则表达式。然后我可以match将这些中的每一个添加到不同的mongo集合中。 (我认为无法在一个format元素中为多个标记指定多个<source>正则表达式?)

  2. 将所有日志存储在一个&#34; raw&#34; mongo集合然后编写我自己的代码来提取不同类型的不同类型的日志。我相信这个选项最适合表现,但不确定第一种方法是否真的很糟糕。

0 个答案:

没有答案