我正在使用Spark Cassandra Connector使用Spark Thrift服务器在Cassandra数据库上启用SQL查询。除SQL查询外,大多数SQL查询都适用于带有PushBack过滤器的Cassandra Partition Key。如果我点击下面的查询,我就不会看到按下过滤器到Cassandra。
带有SQL SELECT
子句的示例IN
查询如下:
SELECT * from playlists where playerId=1 and song_id in (select songId from songlists and release_date=cast('2018-06-12' as date));
当我在Spark Thrift服务器上运行此SQL查询时,它在日志中没有显示回推过滤器,如下所示 -
表架构:
CREATE TABLE playlists (
playerId int,
song_id int,
title text,
album text,
artist text,
release_date date,
PRIMARY KEY ((playerId, song_id),release_date));
CREATE TABLE songlists (
songId int,
release_date date
PRIMARY KEY (songId,release_date));
想要检查是否有任何方法可以将此过滤器推送到Spark Cassandra Connector中的Cassandra。这是否需要自定义催化剂规则?我在哪里可以找到这些用例的示例规则?