我正在使用Apache NiFi,当试图让Kafka获取大约30mb的文本文件而不会出错时,PutKafka处理器拒绝接收从我的GetFile处理器发送的数据。
Here is my config for my PutKafka Processor:
Here's what happens when I try to put the file through to the PutKafka processor:
我尝试更改PutKafka处理器中的一些值无济于事。发送一个非常小的文本文件时,同样的设置成功,但它没有被管道分隔。
由于
答案 0 :(得分:2)
请您查看日志,看看是否有相关的堆栈跟踪并将其粘贴到此处。我怀疑你是超过最大缓冲区大小而Kafka本身失败了,所以消息永远不会到达主题。例如,虽然你似乎压倒了max.request.size'你的' buffer.memory'比你的请求大小少得多。 无论如何,堆栈跟踪会有所帮助。