卡夫卡代理中为卡夫卡流应用程序创建的卡夫卡内部主题的UnknownProducerIdException过多

Question

Kafka流应用程序之一正在Kafka经纪人以及消费者端生成许多Unknown Producer Id错误。

流配置如下：

final Properties streamsConfiguration = new Properties();
    streamsConfiguration.put(StreamsConfig.APPLICATION_ID_CONFIG, appName);
    streamsConfiguration.put(StreamsConfig.CLIENT_ID_CONFIG,appName + "-Client");
    streamsConfiguration.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, this.bootstrapServer);
    streamsConfiguration.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.Long().getClass().getName());
    streamsConfiguration.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass().getName());
    streamsConfiguration.put(StreamsConfig.PROCESSING_GUARANTEE_CONFIG,StreamsConfig.EXACTLY_ONCE);
    streamsConfiguration.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, offset);
    streamsConfiguration.put(StreamsConfig.STATE_DIR_CONFIG,state_dir);
    streamsConfiguration.put(StreamsConfig.REPLICATION_FACTOR_CONFIG,defaultReplication);
    return streamsConfiguration;

经纪人方面的错误：

使用者方面的错误：

分区内部主题的

自定义配置： prod.Prod-Job-Summary-v0.4-KTABLE-AGGREGATE-STATE-STORE-0000000049-repartition

这些背后的原因是什么？

Answer 1

这是一个已知问题。参见KAFKA-7190 Under low traffic conditions purging repartition topics cause WARN statements about UNKNOWN_PRODUCER_ID和KIP-360: Improve handling of unknown producer。