Kafka：如何修复TimeoutException错误？

Question

我正在将Kafka与Nifi一起使用，并且要提取一个大文件（超过100MB）。我收到一个TimeOutException错误。 Kafka不会崩溃。 阅读它，我需要增加默认设置为30ms的以下属性“ request.timeout.ms”。 对于需要花费较长时间才能提取的较大文件，应为该属性设置什么？我该如何计算？我在生产环境中使用Confluent Kafka 5.3.1。

谢谢

Answer 1

使用publishKafka和ConsumeKafka处理器，您可以添加动态属性，以将kafka配置添加到您的使用者或生产者。 因此您可以添加如下属性：
密钥：request.timeout.ms
value：您想要的值

您还可以在nifi连接中配置背压以保护您的环境。

您应该检查nifi应用程序日志，也许您的kafka已关闭。