嵌入式flume代理是否需要hadoop才能在集群上运行?

时间:2016-09-21 18:18:57

标签: hadoop flume agent

我正在尝试在我的Web服务中编写嵌入式flume代理,以将我的日志传输到我的flume代理运行的另一个hadoop集群。要使用Embedded flume代理,我们是否需要在运行我的Web服务的服务器中运行hadoop。

1 个答案:

答案 0 :(得分:0)

TLDR:我认为,没有

更长的版本:我还没有检查过,但是在开发者指南(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)中它说了

  

注意:嵌入式代理依赖于hadoop-core.jar。

https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent

在用户指南(https://flume.apache.org/FlumeUserGuide.html#hdfs-sink)中,您可以指定HDFS路径:

  

HDFS目录路径(例如hdfs:// namenode / flume / webdata /)

另一方面,您确定要使用嵌入式代理而不是在想要放置数据的地方运行Flume并使用HTTP Source吗? (https://flume.apache.org/FlumeUserGuide.html#http-source)(...或您可以发送数据的任何其他来源)