如何订阅Apache Kafka主题并将数据流传输到Hive表

Question

如何订阅Apache Kafka主题并将主题数据流式传输到Hive表？ Kafka主题将实时更新。

Answer 1

最好的方法是使用Kafka Connect和HDFS connector。 Here's a quickstart向您展示如何使用它。

Answer 2

使用KafkaConnect的HDFS连接器。

所有配置属性和常见示例都可以在https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html#hive

中找到

对于示例配置，您可以查看问题中发布的配置： kafka connect - ExtractTopic transformation with hdfs sink connector throws NullPointerException

Answer 3

您可以使用上面指定的HDFS连接器使用Kafka连接接收器，并使用Hive为该特定HDFS位置创建外部表。