Question

我正在尝试为使用Spring Boot 2.x开发的Kafka监听器编写单元测试。作为一个单元测试，我不想创建一个完整的Kafka服务器和一个Zookeeper实例。所以，我决定使用Spring Embedded Kafka。

我的听众的定义非常基本。

@Component
public class Listener {
    private final CountDownLatch latch;

    @Autowired
    public Listener(CountDownLatch latch) {
        this.latch = latch;
    }

    @KafkaListener(topics = "sample-topic")
    public void listen(String message) {
        latch.countDown();
    }
}

同样，在收到消息后验证latch计数器等于零的测试非常简单。

@RunWith(SpringRunner.class)
@SpringBootTest
@DirtiesContext
@EmbeddedKafka(topics = { "sample-topic" })
@TestPropertySource(properties = { "spring.kafka.bootstrap-servers=${spring.embedded.kafka.brokers}" })
public class ListenerTest {

    @Autowired
    private KafkaEmbedded embeddedKafka;

    @Autowired
    private CountDownLatch latch;

    private KafkaTemplate<Integer, String> producer;

    @Before
    public void setUp() {
        this.producer = buildKafkaTemplate();
        this.producer.setDefaultTopic("sample-topic");
    }

    private KafkaTemplate<Integer, String> buildKafkaTemplate() {
        Map<String, Object> senderProps = KafkaTestUtils.producerProps(embeddedKafka);
        ProducerFactory<Integer, String> pf = new DefaultKafkaProducerFactory<>(senderProps);
        return new KafkaTemplate<>(pf);
    }

    @Test
    public void listenerShouldConsumeMessages() throws InterruptedException {
        // Given
        producer.sendDefault(1, "Hello world");
        // Then
        assertThat(latch.await(10L, TimeUnit.SECONDS)).isTrue();
    }
}

不幸的是，测试失败了，我无法理解为什么。是否可以使用KafkaEmbedded的实例来测试标注为@KafkaListener的方法？

所有代码都在我的GitHub存储库kafka-listener中共享。

感谢所有人。

Answer 1

您可能在为消费者分配了主题/分区之前发送消息。设置属性......

spring:
  kafka:
    consumer:
      auto-offset-reset: earliest

...默认为latest。

这就像将--from-beginning与控制台消费者一起使用。

修改

哦;你没有使用boot的属性。

添加

props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

<强> EDIT2
顺便说一句，你应该对get(10L, TimeUnit.SECONDS)（一个template.send()）的结果做Future<>来断言发送成功。

<强> EDIT3

要仅为测试覆盖偏移重置，您可以执行与代理地址相同的操作：

@Value("${spring.kafka.consumer.auto-offset-reset:latest}") private String reset; ... props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, this.reset);

和

@TestPropertySource(properties = { "spring.kafka.bootstrap-servers=${spring.embedded.kafka.brokers}", "spring.kafka.consumer.auto-offset-reset=earliest"})

但是，请记住，此属性仅在群组首次消耗时应用。要在每次应用程序启动时始终从最后开始，您必须在启动期间寻求结束。

此外，我建议将enable.auto.commit设置为false，以便容器负责提交抵消，而不是仅依靠消费者客户端按时间表执行此操作。

Answer 2

也许有人会发现这很有用。我有一个类似的问题。本地测试正在运行（一些检查在 FROM bellsoft/liberica-openjdk-alpine-musl:11 ENV PORT=$PORT ARG ENV ENV STARTUP_ENV=$ENV COPY /target/app-0.0.1-SNAPSHOT.jar /app-0.0.1-SNAPSHOT.jar RUN echo $ENV CMD java -Dspring.profiles.active=$STARTUP_ENV -Djava.security.egd=file:/dev/./urandom -Dserver.port=$PORT -jar /app-0.0.1-SNAPSHOT.jar 内执行），但在 Jenkins 管道中，测试失败。

解决方案是，就像在投票最多的答案中已经提到的那样，设置 Awaitility.waitAtMost。当测试运行时，您可以通过查看测试日志来检查是否正确设置了配置。 Spring 输出生产者和消费者的配置

使用Spring Embedded Kafka测试@KafkaListener

2 个答案: