流利的人如何受益于这种情况?

时间:2013-05-13 12:53:58

标签: mongodb fluentd bigdata

我遇到过Fluentd。当它很容易直接在db上存储原始数据时,为什么要使用这样的东西呢?我可能在这里误解了这项技术的使用。很高兴听到一些反馈。

为什么有人想要通过另一层,当它足够容易在您自己的数据存储中捕获和存储原始数据时?

考虑这种情况。我想存储页面视图。原始数据存储在RDBMS中,格式化数据存储在Mongodb中。这是我当前设置的简短描述:

当用户访问我的网站时。我的应用程序(Rails)将IP解析为匹配一个国家/地区。解析IP后,我将原始数据存储到RDBMS中。我有一个worker / cron运行,每小时将所有原始数据处理成一个Mongo文档。为什么我需要流利的?在这种情况下拥有日志框架有什么好处?

1 个答案:

答案 0 :(得分:2)

  1. 您无需制作/维护自己的工作人员来移动东西 你的第一个RDBMS和Mongo之间。
  2. 您可以轻松实现将数据移动到Mongo的流程的并行化和冗余。您可以将其构建到您的worker / cron作业中,但为什么要重新发明轮子?
  3. 你问为什么有人想要另一层。您的worker / cron作业是另一层,但测试的次数比Fluentd少。
  4. 你得到了一堆免费的插件,所以如果你想开始将你的数据添加到除Mongo之外的其他地方(即Storm,S3,HDFS等等),你可以通过编辑配置文件来轻松实现而不是自己写一堆代码。
  5. 您有许多免费的内置选项,例如频繁刷新数据/以何种大小来刷新数据。
  6. 最重要的是:您从应用程序框中卸载了整个此日志记录/数据输入工作流程,因此如果您的应用程序框上的数据插入过程出现任何问题,则问题将出现并在您的流畅的日志聚合器框,而不是您的应用程序框。