使用TTL为Cassandra节省火花

Question

我使用Spark-Cassandra连接器1.1.0和Cassandra 2.0.12。

我通过saveToCassandra（）Java API方法将RDD写入Cassandra。

有没有办法用连接符设置持久记录的TTL属性？

谢谢，

晒

Answer 1

不幸的是，似乎没有办法用连接器的1.1.0版本（我知道）这样做。然而，在1.2.0-alpha3中有一种方法。

saveToCassandra()是WriterBuilder的包装器，它有withTTL方法。您可以使用saveToCassandra而不是writerBuilder(keyspace,table,rowWriter).withTTL(seconds).saveToCassandra()。

Answer 2

是的，我们可以做到。 只需设置spark配置键“ spark.cassandra.output.ttl ”。同时创建sparkConf对象。

注意：值应该是第二个