使用AvroConsumer获取分区和主题中的消息

时间:2019-05-20 14:32:10

标签: python apache-kafka confluent-kafka kafka-python

我希望能够使用一个简单的@3来读取某个主题的特定分区中的消息以及另一个主题中的消息,例如I。

Consumer

一些“客户端”在“ p_topic”的分区中生成消息,而某些(我创建的)在“ test_topic”的分区中生成消息,

self.consumer = AvroConsumer(conf)

parts = [TopicPartition('p_topic', 13),
         TopicPartition('p_topic', 14)

self.consumer.assign(parts)
self.consumer.subscribe(['test_topic'])

尽管我无法将以上两个代码集成在一起。我在“ test_topic”抛出中生成的消息:

self.p.produce('test_topic', msg)

如何使用File "/usr/local/lib/python2.7/dist-packages/confluent_kafka/avro/__init__.py", line 115, in poll decoded_value = self._serializer.decode_message(message.value()) File "/usr/local/lib/python2.7/dist-packages/confluent_kafka/avro/serializer/message_serializer.py", line 214, in decode_message raise SerializerError("message does not start with magic byte") SerializerError 同时阅读两者?

1 个答案:

答案 0 :(得分:0)

根据有关“魔术字节”的错误,使用AvroProducer无法完成对该主题产生的任何操作。