Question

我有一个简单的Kafka阅读器课程。我真的不记得我从哪里得到了这段代码。可以找到它，或者我以前的自我可能是通过各种示例创建的。无论哪种方式，它都可以让我快速阅读kafka主题。

class KafkaStreamReader():
def __init__(self, schema_name, topic, server_list):
    self.schema = get_schema(schema_name)
    self.topic = topic
    self.server_list = server_list
    self.consumer =  KafkaConsumer(topic, bootstrap_servers=server_list,
                                   auto_offset_reset = 'latest',
                                   security_protocol="PLAINTEXT")


def decode(self, msg, schema):
    parsed_schema = avro.schema.parse(schema)
    bytes_reader = io.BytesIO(msg)
    decoder = avro.io.BinaryDecoder(bytes_reader)
    reader = avro.io.DatumReader(parsed_schema)
    record = reader.read(decoder)
    return record

def fetch_msg(self):
    event = next(self.consumer).value
    record = self.decode(event, self.schema)
    return record

要使用它，我将实例化一个对象并循环读取以下数据：

consumer = KafkaStreamReader(schema, topic,  server_list)
while True:
    message = consumer.fetch_msg()
    print message

我确定有更好的解决方案，但这对我有用。

我想摆脱的是卡夫卡记录中的元数据。另一个小组的同事使用Java或Node，并且可以在记录中看到以下信息。

{ 
  topic: 'clickstream-v2.origin.test',
  value:      
  {
    schema:payload_data/jsonschema/1-0-3',
    data: [ [Object] ] },
    offset: 16,
    partition: 0,
    highWaterOffset: 17,
    key: null,
    timestamp: 2018-07-25T17:01:36.959Z 
  }
}

我想使用Python KafkaConsumer访问timestamp字段。

Answer 1

我有解决办法。如果更改fetch_msg方法，我可以弄清楚如何访问它。

def fetch_msg(self):
    event = next(self.consumer)
    timestamp = event.timestamp
    record = self.decode(event.value, self.schema)
    return record, timestamp

这不是最优雅的解决方案，因为我个人不喜欢返回多个值的方法。但是，它说明了如何访问我所关注的事件数据。我可以研究更优雅的解决方案

使用Python KafkaConsumer访问Kafka元数据

1 个答案: