适用于多个主题的Spring Kafka单一制作人

时间:2017-09-06 07:58:54

标签: java spring spring-kafka

我想使用单个生产者将JSON对象写入多个主题。

以下代码正在执行我想要的操作,但使用setDefaultTopic()方法告诉KafkaTemplate它应该向哪个主题发送消息感觉不对。

如果我使用send(String topic, ? payload)方法,StringJsonMessageConverter将无效。

我的制作人:

public class MyProducer {

    @Autowired
    private KafkaTemplate<String, ?> kafka;

    public void send(String topic, Message<?> message) {
        kafka.setDefaultTopic(topic);
        kafka.send(message);
    }
}

我的配置:

@Configuration
public class MyProducerConfig {

    @Bean
    public ProducerFactory<String, String> producerFactory() {
        Map<String, Object> props = new HashMap<>();
        ...

        return new DefaultKafkaProducerFactory<>(props);
    }

    @Bean
    public KafkaTemplate<String, String> kafkaTemplate(ProducerFactory<String, String> producerFactory) {
        KafkaTemplate<String, String> kafkaTemplate = new KafkaTemplate<>(producerFactory);
        kafkaTemplate.setMessageConverter(new StringJsonMessageConverter());

        return kafkaTemplate;
    }
}

有关如何正确执行此操作的任何建议吗?

更新

我将代码更改为此...

制片:

public void send(Message<?> message) {
    kafka.send(message);
}

在我的控制器中(我在其中创建消息对象);

MessageHeaders headers = new MessageHeaders(Collections.singletonMap(KafkaHeaders.TOPIC, "topicName"));
GenericMessage<NewsRequest> genericMessage = new GenericMessage<>(payload, headers);
producer.send(genericMessage);

MessageHeaders对象仍将包含id和时间戳。

2 个答案:

答案 0 :(得分:3)

使用send(Message<?>)变体时,消息转换器希望主题位于邮件标题中...

String topic = headers.get(KafkaHeaders.TOPIC, String.class);

如果您可以通过其他方式确定主题,则需要创建自定义转换器。

更改默认主题不是线程安全的。

答案 1 :(得分:2)

在调用模板之前,您必须手动使用StringJsonMessageConverter

ProducerRecord<?, ?> producerRecord = kafka.getMessageConverter().fromMessage(message, topic);
kafka.send(producerRecord);