Kafka主题与Kafka Connect合并到HDFS

Question

是否可以配置Kafka Connect的HDFS连接器将多个单独的主题写入/组合到一个文件中？

主题将包含具有相同avro架构的消息，我希望KafkaConnect充当这些Kafka主题和HDFS之间的中介。在最糟糕的情况下，主题内容可以在写入HDFS后进行组合，但我觉得使用HDFS连接器应该可以更清洁，更快捷。

Answer 1

现在，HDFS连接器会将每个主题写入其自己的目录。您可以在写入后组合HDFS中的目录，或者在写入HDFS之前在Kafka中组合主题，但连接器本身不会这样做。