用于Kafka连接器的Presto查询优化

时间:2019-11-28 05:46:21

标签: apache-kafka presto

我有一个以时间戳为消息键的kafka主题,并且该主题按年-月的哈希值进行了分区。当我尝试使用Presto查询kafka时,Presto似乎将获得全部消息。我想知道Presto的Kafka连接器是否会进行分区/偏移相关的优化?例如如果我按时间戳范围过滤数据,它将直接进入目标kafka分区,而无需进行完整的数据扫描。另一个用例是ETL作业,每小时/每天处理一次,Presto可以智能地定位这些数据,例如继续进行最后的补偿?

0 个答案:

没有答案