Flafka：如何写入通过Flume代理在msg类型上分区的partitoined Kafka主题（频道）

Question

在我的项目中，我们总共有11个WSMQ作为Flume代理的来源。 Kafka主题作为频道，Kafka主题在消息类型上进行分区。 HDFS作为接收器。

要求：我们想要使用flume-agent读取多个队列并写入kafka主题的特定分区，以便在以后的时间点，我们可以从这些kafka分区读取数据。

现在，我们在代理编写消息的每个队列中总共有11个kafka主题。我们希望有一个Kafka主题，它在msg类型上进行分区，并且可以将传入的msgs写入这些分区。

有人可以建议，这个用例的最佳方法是什么？

谢谢！

Answer 1

我们通过Spark流解决了它。