Apache Drill - 内存/流作为数据源

Question

这可能会滥用Drill的精神，但我想知道是否有人尝试过在内存或数据流中查找钻取查询。

也许：

local> select columns[0], avg(columns[5]) from dfs.`tail -f /users/home/carl/incoming.log` group by columns[0], columns[5];

让它变得更像“火花般的”？

Answer 1

这在Drill with files中不起作用。但是，Drill 1.12增加了对Kafka的支持。因此，您可以对Kafka主题https://github.com/apache/drill/tree/master/contrib/storage-kafka中的数据流执行查询。