Apache Flume的好处

Question

我是Apache Flume的新手。 我知道Apache Flume可以帮助传输数据。

但我仍然没有看到Apache Flume提供的最终好处。 如果我可以配置软件或制作软件来发送哪些数据到哪里，为什么我需要Flume？

也许有人可以解释显示Apache Flume的好处的情况？

Answer 1

可靠传输（如果使用文件通道）： Flume发送批量的小事件。每次将批处理发送到下一个节点时，它都会在删除之前等待确认。文件通道中的存储已经过优化，可以在崩溃时进行恢复。

Answer 2

我认为你从水槽中获得的最大好处是可扩展性。基本上所有组件都从源，拦截器和接收器开始，一切都是可扩展的。

我们使用水槽并使用自定义kakfa源读取数据，数据采用JSON的形式，我们在自定义kafka源中解析它，然后将其传递给HDFS接收器。它在5个节点中可靠地工作。我们只扩展了kafka源码，HDFS接收器功能，我们已经开箱即用。

同时，来自Hadoop生态系统，您可以获得出色的社区支持以及以不同方式使用这些工具的多种选择。