我编写了一个代码,该代码正在使用kafka主题中的日志,在某个时候我发现应用程序无法使用日志,并且有时它运行正常。我的应用程序与42个实例异步执行。
Kafka配置
Replication=3
Number of Partitions=42
Sum of partition offsets=0
Total number of Brokers=5
Number of Brokers for Topic=5
Preferred Replicas %=100
Brokers Skewed %=0
Brokers Leader Skewed %=0
Brokers Spread %=100
Under-replicated %=0
retention.ms=86400000
retention.bytes=102400
代码
brokerUri='localhost:2019'
topic='test_able'
def run(brokerUri,topic):
consumer = KafkaConsumer(bootstrap_servers=brokerUri, auto_offset_reset='earliest',
consumer_timeout_ms=10000, enable_auto_commit=False)
#,value_deserializer=lambda m: json.loads(m.decode('utf-8')))
consumer.subscribe([topic])
print(consumer)
for message in consumer:
print (message.value)
consumer.close()
run(brokerUri,topic)
另一方面,在不使用任何消息且没有错误消息的情况下,有时应用程序可以成功使用该日志。