Flume：通过API将文件发送到HDFS

Question

我是Apache Flume-ng的新手。我想将文件从客户端代理发送到服务器代理，服务器代理最终将文件写入HDFS。我见过http://cuddletech.com/blog/?p=795。这是迄今为止我发现的最好的一个。但它是通过脚本而不是通过API。我想通过Flume API来做。请帮助我这方面。并告诉我步骤，如何启动和组织代码。

Answer 1

我认为你应该解释一下你想要达到的目标。

您发布的链接似乎可以满足您的需求。您需要在客户端启动Flume代理以读取文件并使用Avro接收器发送它们。然后，您需要在服务器上使用Flume代理，该代理使用Avro源来读取事件并将其写入您想要的位置。

如果您想直接从应用程序发送事件，请查看Flume 1.4中的嵌入式代理或log4j2中的Flume appender或（更糟）Flume中的log4j appender。

Answer 2

检查http://flume.apache.org/FlumeDeveloperGuide.html 您可以编写客户端来发送事件或使用嵌入式代理。 至于代码组织，由你决定。