Question

我正在使用Apache Kafka并且我一直在尝试使用Kafka Streams功能。我想要实现的目标非常简单，至少用语言来说，并且可以通过常规的普通消费者/生产者方法轻松实现：

从动态主题列表中读取
对消息进行一些处理
将邮件推送到另一个主题，该主题的名称是根据邮件内容

最初，我认为我可以创建一个自定义接收器或注入某种端点解析器，以便以编程方式为每条消息定义主题名称，尽管最终无法找到任何方法。所以我挖掘了代码并找到了 ProducerInterceptor 类（引自JavaDoc）：

允许您拦截（并可能变异）的插件界面生产者在发布之前收到的记录卡夫卡集群。

它的 onSend 方法：

这是从KafkaProducer.send（ProducerRecord）调用的 KafkaProducer.send（ProducerRecord，Callback）方法，在key和之前 value得序列化并分配分区（如果分区不是在ProducerRecord中指定。）

对我来说这似乎是一个完美的解决方案，因为我可以有效地返回一个新的 ProducerRecord ，其中包含我想要的主题名称。虽然显然存在一个错误（我已经在他们的JIRA上打开了一个问题：KAFKA-4691）并且当密钥和值已经被序列化时调用该方法。我不认为在这一点上进行额外的反序列化是可以接受的。

我向你提出的经验丰富，知识渊博的用户问题将是你的意见和建议以及关于如何有效和优雅地实现这一目标的任何建议。

提前感谢您的帮助/意见/建议/想法。

以下是我尝试过的一些代码段：

public static void main(String[] args) throws Exception {

    StreamsConfig streamingConfig = new StreamsConfig(getProperties());

    StringDeserializer stringDeserializer = new StringDeserializer();
    StringSerializer stringSerializer = new StringSerializer();

    MyObjectSerializer myObjectSerializer = new MyObjectSerializer();

    TopologyBuilder topologyBuilder = new TopologyBuilder();
    topologyBuilder.addSource("SOURCE", stringDeserializer, myObjectSerializer, Pattern.compile("input-.*"));

    .addProcessor("PROCESS", MyCustomProcessor::new, "SOURCE");


    System.out.println("Starting PurchaseProcessor Example");
    KafkaStreams streaming = new KafkaStreams(topologyBuilder, streamingConfig);
    streaming.start();
    System.out.println("Now started PurchaseProcessor Example");

}

private static Properties getProperties() {
    Properties props = new Properties();
    .....
    .....
    props.put(StreamsConfig.producerPrefix(ProducerConfig.INTERCEPTOR_CLASSES_CONFIG), "com.test.kafka.streams.OutputTopicRouterInterceptor");

    return props;
}

OutputTopicRouterInterceptor onSend实现：

@Override
public ProducerRecord<String, MyObject> onSend(ProducerRecord<String, MyObject> record) {
    MyObject obj = record.value();

    String topic = computeTopicName(obj);

    ProducerRecord<String, MyObject> newRecord = new ProducerRecord<String, MyObject>(topic, record.partition(), record.timestamp(), record.key(), obj);
    return newRecord;
}

Kafka Streams动态路由（ProducerInterceptor可能是一个解决方案吗？）

0 个答案: