Question

您好我对多源日志生成服务器的日志分析的水槽配置几乎没有疑问

我在linux服务器上运行了2个apache服务器。并且一个节点正在运行HDFS，所有守护进程都在同一节点中运行。

需要安装哪个节点以从两个服务器捕获流式日志并加载到HDFS DB中。
请提供此方案的水槽配置文件。这里，如果我们想使用命令捕获流：tail -f /home/tomcat/webapps/logs/catalina.out

Answer 1

关于你的第一个问题：

1.需要安装哪个节点以从两个服务器捕获流式日志并加载到HDFS DB中。??

需要在每个apache服务器上安装Flume来读取Apache日志，然后将记录发送到HDFS

注意：在安装Apache Flume时不要忘记包含HDFS jar /插件，这样在启动时，它实际上会将记录发送到HDFS而不会给您带来错误。还要确保apache tomcat节点上的水槽可以访问正在运行的HDFS节点和端口。

至于你的第二个问题：

2.请为此方案提供水槽配置文件。这里，如果我们想使用命令捕获流：tail -f /home/tomcat/webapps/logs/catalina.out

关于Flume配置，特别是＆＃34; source＆＃34;：这是一个示例配置：

# Describe/configure the source for tailing file
agent.sources.SrcLog.type = exec
agent.sources.SrcLog.command = tail -F /home/tomcat/webapps/logs/catalina.out
agent.sources.SrcLog.restart = true
agent.sources.SrcLog.restartThrottle = 1000
agent.sources.SrcLog.logStdErr = true
agent.sources.SrcLog.batchSize = 50

有关详细信息，请查看Apache Flume User Guide

需要帮助Apache Flume配置文件

1 个答案: