通过制作人将大文件推送到Kafka主题中

时间:2018-09-25 11:43:19

标签: apache-kafka kafka-producer-api

文件正在通过客户端上传到服务器文件夹中。它正在持续使用TUS API从其他客户端上传文件(文件可恢复上传)。文件大小从5 mb到100 mb。现在我想通过Java异步将这些文件推送到Kafka生产者中,但不能这样做。我尝试使用watch文件夹的一个选项,但不确定它在生产中如何有效。任何帮助表示赞赏。

1 个答案:

答案 0 :(得分:1)

Kafka对邮件大小施加了限制,因此您将无法放置任何大于此大小的内容。您可以在max.message.bytes上对其进行配置,但可能会有副作用(例如kafka服务器的内存占用)。

您还有其他选择:

  • 对消息进行分块,并打造一个聪明的消费者,以便在接收到消息时重新组合这些块
  • 将数据存储在外部服务(例如redis / something sql)中,并仅将指针传递给外部服务

与这些约束相关的一些约束记录在this article