如何将1000万条消息植入Kafka？

Question

根据对实时分析的要求，我必须将1000万条记录插入到Kafka中，最重要的是，我必须编写自定义消费者逻辑。但是，要满足此要求，我如何在3天内将1000万条记录播种到Kafka中5分钟的时间？

我们最好根据项目要求使用Spring Boot。 请建议

Answer 1

几个选项：

• kafka-connect-datagen，在this article中进行了详细说明。

• 像kafkacat这样的命令行生产者：

  seq 1 10000000 | kafkacat -b localhost:9092 -t testtopic -P
  

  • 要获取更真实的测试数据，请使用此in conjunction with Mockaroo

Answer 2

您可以尝试流集工具，它具有数据生成器功能。它快速生成数据。同样，这也将帮助您使用连接器和消费者/生产者，实际上您也可以在此处进行一些处理和过滤，因此理想情况下几乎不需要编码就可以完成。

Answer 3

您可以在for循环中创建一个简单的生产者和produce。我做到了，它就像一种魅力。 如果您不想产生1 msg / sec的速度，请不要忘记不要使用.flush()。