我正在尝试在我的Web服务中编写嵌入式flume代理,以将我的日志传输到我的flume代理运行的另一个hadoop集群。要使用Embedded flume代理,我们是否需要在运行我的Web服务的服务器中运行hadoop。
答案 0 :(得分:0)
TLDR:我认为,没有。
更长的版本:我还没有检查过,但是在开发者指南(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)中它说了
注意:嵌入式代理依赖于hadoop-core.jar。
(https://flume.apache.org/FlumeDeveloperGuide.html#embedded-agent)
在用户指南(https://flume.apache.org/FlumeUserGuide.html#hdfs-sink)中,您可以指定HDFS路径:
HDFS目录路径(例如hdfs:// namenode / flume / webdata /)
另一方面,您确定要使用嵌入式代理而不是在想要放置数据的地方运行Flume并使用HTTP Source吗? (https://flume.apache.org/FlumeUserGuide.html#http-source)(...或您可以发送数据的任何其他来源)