将日志文件kafka移动到hadoop

时间:2017-06-13 11:04:54

标签: hadoop apache-kafka apache-kafka-connect

我想将日志文件从kafka移动到hdfs文件系统。 哪个工具用于此过程?我尝试过Confluent但是我不能通过汇合来成功完成这个过程。我试图找到另一种工具。

1 个答案:

答案 0 :(得分:0)

  

我想将日志文件从kafka移动到hdfs文件系统。哪个工具用于此过程

HDFS connector for Kafka Connect效果很好,并且被广泛使用并取得了巨大成功。

  

这个过程与汇合

无法取得成功

如果您描述您所面临的实际问题,可能最好。如果您使用一种经过验证的技术来解决问题,那么切换到另一种技术并不一定会对您有所帮助。