你能帮我设置camus或gobblin来存储来自Kafka的HDFS消息吗?一个工作的例子可能很棒。
Gobblin仍处于孵化阶段,而逐渐消失。那么哪一个更适合使用。
我下载了gobblin并运行gobblin-standalone.sh start但是我收到了错误
未设置环境变量GOBBLIN_JOB_CONFIG_DIR! 。
答案 0 :(得分:1)
用于HDFS的Confluent Kafka接收器连接器是首选,因为它取代了Camus,支持最新版本的Apache Kafka,主动维护并且是开源的。
http://docs.confluent.io/current/connect/connect-hdfs/docs/index.html