Question

我有一个Java应用程序，它使用log4j2登录到控制台。我希望以异步方式将特定的日志消息从Java应用程序发送到kafka服务器，同时仍将其他日志发送到控制台。但是，当Kafka服务器不可用时，控制台将显示“代理可能不可用”警告消息，而其他准备进入控制台的日志似乎在队列中等待客户端超时。

我正在按照log4j2文档中的说明使用VM选项进行异步记录

-Dlog4j2.contextSelector=org.apache.logging.log4j.core.async.AsyncLoggerContextSelector

我尝试在Kafka附加程序上将syncSend设置为false，并用AsyncAppender包装，但似乎无济于事。

这是重现该问题的示例

package main;

import org.apache.logging.log4j.LogManager;
import org.apache.logging.log4j.Logger;
import org.apache.logging.log4j.Marker;
import org.apache.logging.log4j.MarkerManager;

public class Main {

    public static void main(String[] args) {

        Logger logger = LogManager.getLogger();
        Marker kafkaMarker = MarkerManager.getMarker("KAFKA");

        logger.info("someErrorMessage");

        logger.info(kafkaMarker, "someKafkaMessage");

        for (int i = 0; i < 100; i++) {
            logger.info("someErrorMessage: " + i);
        }
    }
}

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>org.example</groupId>
    <artifactId>untitled</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <log4j2.version>2.13.3</log4j2.version>
        <java.version>1.8</java.version>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
    </properties>

    <dependencies>

        <dependency>
            <groupId>org.apache.maven.plugins</groupId>
            <artifactId>maven-compiler-plugin</artifactId>
            <version>3.8.1</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-api</artifactId>
            <version>${log4j2.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-core</artifactId>
            <version>${log4j2.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-slf4j-impl</artifactId>
            <version>${log4j2.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-log4j-appender</artifactId>
            <version>2.0.1</version>
            <scope>compile</scope>
        </dependency>
        <dependency>
            <groupId>org.apache.kafka</groupId>
            <artifactId>kafka-clients</artifactId>
            <version>2.0.1</version>
        </dependency>
        <dependency>
            <groupId>com.lmax</groupId>
            <artifactId>disruptor</artifactId>
            <version>3.4.2</version>
        </dependency>
    </dependencies>

</project>

log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="INFO" strict="true">
    <Properties>
        <Property name="LOG_PATTERN">
            %c.%M %m %ex%n
        </Property>
    </Properties>
    <Appenders>
        <Console name="ConsoleAppender" target="SYSTEM_OUT">
            <Layout type="PatternLayout" pattern="${LOG_PATTERN}"/>
        </Console>
        <Kafka name="KafkaAppender" topic="logProducer" syncSend="false">
            <Property name="bootstrap.servers">localhost:9092</Property>
            <MarkerFilter marker="KAFKA" onMatch="ACCEPT" onMismatch="DENY"/>
            <Layout type="PatternLayout" pattern="${LOG_PATTERN}"/>
        </Kafka>
        <Async name="AsyncKafkaAppender">
            <AppenderRef ref="KafkaAppender"/>
        </Async>
    </Appenders>
    <Loggers>
        <Root level="info">
            <AppenderRef ref="KafkaAppender" />
            <AppenderRef ref="ConsoleAppender" />
        </Root>
    </Loggers>
</Configuration>

Answer 1

这里有几个问题。

您可以减小 max.block.ms 参数以避免阻塞时间过长。实际上，在非常快的网络中，您可以缩短到 500 甚至 100 毫秒。
您可以为发送错误的 kafka 类设置非常高的日志级别，因此您不会收到警告。但是我不推荐这个。

<Logger name="org.apache.kafka" level="ERROR" additivity="false"><AppenderRef ref="Console"/></Logger>

使用 org.apache.kafka 之类的名称，您可以更深入地进行选择性日志记录。重要的是将可加性设置为 false。

最后我肯定会注意，Kafka Broker 是高可用的。

当代理不可用时，如何忽略Log4j2 Kafka附加程序警告消息？

1 个答案: