kafka-connect-hdfs

时间:2017-10-31 09:22:12

标签: hive apache-kafka hdfs apache-kafka-connect confluent

我希望通过汇合将数据从kafka传输到hdfs,并且我已成功通过CLI模型中的quickstart进行实验。

现在,我打算在生产环境中部署融合平台,是否有关于分布式部署的详细教程?

如果kafka中有很多主题,例如register_info,video_play_info,video_like_info,video_repost_info等。

我需要通过不同的转换器处理消息,并转移到不同的hive表。

我应该怎么做?

1 个答案:

答案 0 :(得分:0)

  

我需要通过不同的转换器处理消息,并传输到不同的配置单元表中

  1. 运行bin/connect-distributed etc/kafka/connect-distributed.propeties
  2. 为每个HDFS连接器创建单独的JSON文件
  3. 将它们发布到Kafka Connect的REST端点

Distributed mode is documented here