边缘节点上的Apache Flume设置指令

时间:2018-05-15 12:33:32

标签: flume flume-ng

尝试在边缘节点上设置Flume,我正在检查许多博客,但由于他们中的大多数都是指单节点集群,所以没有多少想法,有人可能会建议在边缘节点上设置或者这将是在HDFS或任何工作节点设置(数据节点)的服务器上,如果是,那么将在Edge节点上配置什么配置。

2 个答案:

答案 0 :(得分:1)

正如Viren在边缘节点的生产环境中所建议的那样,您只需要配置flume,这不是您不能在namenode服务器上进行的,但是由于性能问题,我们需要避免这种情况。

答案 1 :(得分:0)

如果这是一个生产环境,最好避免使用NameNode服务器,资源管理器服务器,日志节点和DataNode。这留下了边缘节点。

过程将是:
1)安装Hadoop客户端 2)安装水槽
3)在flume.conf文件(或您想要提供的任何名称)中配置水槽。您可以在线找到许多样本配置 4)使监控类型= http以快速检查性能数据 5)打开Sources and Sinks的端口 5)启动代理。
6)检查代理日志以查看已启动的所有组件 7)尝试发送一些样本数据并检查它是否到达目的地 8)调试任何故障。

如果您需要更多信息,请与我们联系。