Kafka不会在NiFi中接收大文件（30+ mb）

Question

我正在使用Apache NiFi，当试图让Kafka获取大约30mb的文本文件而不会出错时，PutKafka处理器拒绝接收从我的GetFile处理器发送的数据。

Here is my config for my PutKafka Processor:

Here's what happens when I try to put the file through to the PutKafka processor:

我尝试更改PutKafka处理器中的一些值无济于事。发送一个非常小的文本文件时，同样的设置成功，但它没有被管道分隔。

由于

Answer 1

请您查看日志，看看是否有相关的堆栈跟踪并将其粘贴到此处。我怀疑你是超过最大缓冲区大小而Kafka本身失败了，所以消息永远不会到达主题。例如，虽然你似乎压倒了max.request.size＆＃39;你的＆＃39; buffer.memory＆＃39;比你的请求大小少得多。 无论如何，堆栈跟踪会有所帮助。