Gobblin Kafka到HDFS:附加到同一个文件

时间:2016-08-18 23:52:02

标签: hdfs apache-kafka

是否可以使用Gobblin将来自Kafka的新消息附加到HDFS中的同一文件?现在每次从Kafka阅读时它都会创建一个新文件。例如,如果每分钟运行Gobblin作业,那将是大量文件。

请帮忙!

1 个答案:

答案 0 :(得分:0)

不确定Gobblin,但恕我直言Apache Flume对你来说是更好的选择。