我遇到以下错误，我尝试使用Kafka控制台生产者将大文件推送到Kafka

Question

kafka-console-producer --broker-list localhost：9092 --topic com-hftl2

  

[2019-12-25 16：09：24,476]错误将消息发送到主题com-hftl2时出现错误，键为：null，值：20299831字节，错误为：（org.apache.kafka.clients.producer.internals。 ErrorLoggingCallback）   org.apache.kafka.common.errors.RecordTooLargeException：序列化时，消息为20299919字节，大于您使用max.request.size配置配置的最大请求大小。

Answer 1

该命令会将文件的每一行视为其自己的消息。

默认情况下，Kafka仅允许最大记录大小为1MB ...如果您真的打算发送远大于几MB的数据，则最推荐的模式是使用共享文件系统（例如NFS或S3），然后发送记录中的文件路径，并希望使用者随后分别下载文件