Question

我们希望使用logstash获取日志并将其传递给kafka。

我们为logstash 1.5.0 beta 1和kafka 2.9.2_0.8.1.1编写了以下conf文件

**

input {    
         file {    
         type => "apache"    
         path => ["/var/log/apache2/access.log", "/var/log/apache2/error.log"]    
     }
}




output {    
    kafka {    
        codec => plain {    
            format => "%{message}"    
        }
    topic_id => "example1"    
    }    
}

**

运行以下命令后： bin / logstash agent -f test.conf --log ex.log

test.conf是我们的conf文件。 ex.log是我们为要存储的日志创建的空白文件。

我们得到以下输出

将logstash日志发送到ex.log。使用里程碑2输入插件＆＃39;文件＆＃39;。这个插件应该是稳定的，但是如果你看到奇怪的行为，请告诉我们！有关插件里程碑的更多信息，请参阅http://logstash.net/docs/1.5.0.beta1/plugin-milestones {：level =＆gt;：warn} 使用里程碑1输出插件＆＃39; kafka＆＃39;。这个插件应该可以工作，但是会受到像你这样的人的使用。如果您发现错误或有关如何改进此插件的建议，请告诉我们。有关插件里程碑的更多信息，请参阅http://logstash.net/docs/1.5.0.beta1/plugin-milestones {：level =＆gt;：warn} log4j：WARN找不到logger（kafka.utils.VerifiableProperties）的appender。 log4j：WARN请正确初始化log4j系统。 log4j：WARN有关详细信息，请参阅http://logging.apache.org/log4j/1.2/faq.html#noconfig。 SLF4J：无法加载类＆＃34; org.slf4j.impl.StaticLoggerBinder＆＃34;。 SLF4J：默认为无操作（NOP）记录器实现 SLF4J：有关详细信息，请参见http：/ /www.slf4j.org/codes.html#StaticLoggerBinder。

我们尝试在bashrc中设置CLASSPATH。不工作。请告诉我们哪里出错了。谢谢你提前！

Answer 1

您可以检查的一些事项：是主题example1可用吗？如果没有，你在卡夫卡使用自动创建？检查现有主题，如下所示：

bin/kafka-topics.sh --list --zookeeper localhost:2181

示例1应该在返回的项目之间，否则您也可以手动创建主题。

bin/kafktopics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic example1

要查看kafka是否收到消息启动消费者：

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic example1

我启动了一个简单的logstash实例，它监听标准并使用我看到的消息，如果消息到达kafka。这是我的logstash配置：

input {
        stdin { }
}

output {
    kafka {
        codec => plain {
            format => "%{message}"
        }
        topic_id => "example1"
    }
}

希望有所帮助

Logstash-Kafka集成无法正常工作

1 个答案: