尝试在边缘节点上设置Flume,我正在检查许多博客,但由于他们中的大多数都是指单节点集群,所以没有多少想法,有人可能会建议在边缘节点上设置或者这将是在HDFS或任何工作节点设置(数据节点)的服务器上,如果是,那么将在Edge节点上配置什么配置。
答案 0 :(得分:1)
正如Viren在边缘节点的生产环境中所建议的那样,您只需要配置flume,这不是您不能在namenode服务器上进行的,但是由于性能问题,我们需要避免这种情况。
答案 1 :(得分:0)
如果这是一个生产环境,最好避免使用NameNode服务器,资源管理器服务器,日志节点和DataNode。这留下了边缘节点。
过程将是:
1)安装Hadoop客户端
2)安装水槽
3)在flume.conf文件(或您想要提供的任何名称)中配置水槽。您可以在线找到许多样本配置
4)使监控类型= http以快速检查性能数据
5)打开Sources and Sinks的端口
5)启动代理。
6)检查代理日志以查看已启动的所有组件
7)尝试发送一些样本数据并检查它是否到达目的地
8)调试任何故障。
如果您需要更多信息,请与我们联系。