Question

我已经建立了一个水槽代理，它使用SpoolDir命令从目录中读取CSV文件。

我正在使用通道类型KafkaChannel，以便将这些消息推送到具有10个分区的Kafka主题上，以后可以由Spark应用程序进行处理。

我遇到的问题是每个文件都写入Kafka主题的单个分区。一些文件比其他文件大得多，这意味着消息在主题分区之间的分布非常不均匀。这使得向我的火花执行器分配正确数量的资源变得异常困难，因为有些执行器最终承担了所有繁重的工作，而另一些执行器则坐在那里等待将某些日志添加到其分区中。

是否有任何方法可以在槽中配置KafkaChannel来平衡主题分区之间的消息，或者限制一次发送的消息数量，从而将负载分散到所有可用分区上？

我在水槽中尝试了以下配置选项，但未成功：

a1.channels.kafkaChannel.capacity = 100
a1.channels.kafkaChannel.transactionCapacity = 100
a1.channels.kafkaChannel.batch.size = 100

对KafkaChannel源代码进行了稍微的修改以满足我的需要，但此处指定的默认配置选项仍然可用：http://flume.apache.org/FlumeUserGuide.html#kafka-channel

完整的配置文件（我已经删除了主机名和其他关键信息）

a1.sources = src
a1.channels = kafkaChannel

a1.sources.src.type = spooldir
a1.sources.src.channels = kafkaChannel
a1.sources.src.spoolDir = /data/silk/flume/V5
a1.sources.src.fileHeader = true
a1.sources.src.trackerDir = .flumespool
a1.sources.src.consumeOrder = oldest
a1.sources.src.deletePolicy = immediate
a1.sources.src.decodeErrorPolicy = REPLACE
a1.sources.src.pollDelay = 12000

a1.channels.kafkaChannel.type = com.example.flume.channel.kafka.KafkaChannel
a1.channels.kafkaChannel.brokerList = host1:9092,host2:9092,host3:9092
a1.channels.kafkaChannel.topic = TEST-TOPIC
a1.channels.kafkaChannel.capacity = 100
a1.channels.c1.transactionCapacity = 100
a1.channels.kafkaChannel.zookeeperConnect = host1:2181,host2:2181,host3:2181
a1.channels.kafkaChannel.parseAsFlumeEvent = false

感谢您的帮助，谢谢！

Answer 1

对于其他任何遇到此问题的人，我已经找到了解决方法：

通过实现MemoryChannel和KafkaSink（而不是将日志直接推送到KafkaChannel），我可以看到消息在我的Kafka主题分区之间的平衡更加均匀。

Flume KafkaChannel跨分区平衡消息

1 个答案: