用于SQL子查询的Spark Cassanda Connector中用于Cassandra的下推过滤器 - 自定义催化剂规则?

时间:2018-06-16 07:18:59

标签: apache-spark apache-spark-sql spark-cassandra-connector

我正在使用Spark Cassandra Connector使用Spark Thrift服务器在Cassandra数据库上启用SQL查询。除SQL查询外,大多数SQL查询都适用于带有PushBack过滤器的Cassandra Partition Key。如果我点击下面的查询,我就不会看到按下过滤器到Cassandra。

带有SQL SELECT子句的示例IN查询如下:

SELECT * from playlists where playerId=1 and song_id in (select songId from songlists and release_date=cast('2018-06-12' as date)); 

当我在Spark Thrift服务器上运行此SQL查询时,它在日志中没有显示回推过滤器,如下所示 -

C *过滤器:[]

表架构:

CREATE TABLE playlists (
  playerId int,
  song_id int,
  title text,
  album text,
  artist text,
  release_date date,
  PRIMARY KEY  ((playerId, song_id),release_date));

CREATE TABLE songlists (
  songId int,
  release_date date
  PRIMARY KEY  (songId,release_date));

想要检查是否有任何方法可以将此过滤器推送到Spark Cassandra Connector中的Cassandra。这是否需要自定义催化剂规则?我在哪里可以找到这些用例的示例规则?

0 个答案:

没有答案