Question

我们假设我有一个RDD[Foo] case class Foo(bar: String, baz: Int)我在Cassandra有一张表，分区键bar和群集键baz

现在，我尝试将RDD加入该表并对群集密钥进行一些过滤：

rdd.joinWithCassandraTable("my_keyspace", "foo_table").where("baz < ???")

我应该使用???代替访问baz的{{1}}属性？

我希望获得与以下伪sql相同的结果：

RDD

Answer 1

where用于嵌入在Cassandra查询中的静态谓词。它不能用于基于RDD的过滤。

为此，您必须使用标准filter（并因此将选择移至Spark方面）。