使用Apache Drill查询kafka

Question

我一直试图找到一种方法来使用Apache Drill来使用SQL查询Kafka主题。有人可以给我一个启动点，以便我如何连接到kafka钻。任何帮助将不胜感激。

Answer 1

在Drill 1.12中添加了对查询Kafka的支持。我自己没有使用它，但我将提供所需的一般配置的快速概述。如果您遇到更多问题，请通过Drill的邮件列表http://drill.apache.org/mailinglists/与我们联系。我们可以帮助您调试问题，然后在此处发布结果。

您需要做的大致如下：

1. 在Drill的web ui中创建一个存储插件。将插件命名为 kafka

   {
     "bootstrap.servers": "broker_1:port1,broker_2:port2",
     "group.id": "drill-consumer-group-1",
     "enabled": true
   }
   

2. 创建插件配置后，为您的查询设置适当的kafka消息反序列化器： alter session set store.kafka.record.reader = org.apache.drill.exec.store.kafka.decoders.JsonMessageReader
3. 还设置适用于您的查询的轮询超时： alter session set store.kafka.poll.timeout = 200
4. 尝试查询：select * from kafka.myTopic;