虽然从kafka主题消耗日志,但有时应用程序无法消耗日志

时间:2019-12-29 12:32:25

标签: python apache-kafka kafka-consumer-api

我编写了一个代码,该代码正在使用kafka主题中的日志,在某个时候我发现应用程序无法使用日志,并且有时它运行正常。我的应用程序与42个实例异步执行。

Kafka配置

Replication=3
Number of Partitions=42
Sum of partition offsets=0
Total number of Brokers=5
Number of Brokers for Topic=5
Preferred Replicas %=100
Brokers Skewed %=0
Brokers Leader Skewed %=0
Brokers Spread %=100
Under-replicated %=0

retention.ms=86400000
retention.bytes=102400

代码

brokerUri='localhost:2019'
topic='test_able'
def run(brokerUri,topic):

        consumer = KafkaConsumer(bootstrap_servers=brokerUri, auto_offset_reset='earliest',
                                 consumer_timeout_ms=10000, enable_auto_commit=False)
                                 #,value_deserializer=lambda m: json.loads(m.decode('utf-8')))

        consumer.subscribe([topic])
        print(consumer)
        for message in consumer:
            print (message.value)

        consumer.close()

run(brokerUri,topic)

另一方面,在不使用任何消息且没有错误消息的情况下,有时应用程序可以成功使用该日志。

0 个答案:

没有答案