如何获取saveToCassandra并使用它？

Question

我正在使用spark-sql v2.3.1将数据写入cassandra v3.11.1。 要将数据帧写入cassandra表，我们可以使用

df.write.format("org.apache.spark.sql.cassandra") 
 .options(Map( "table" -> tname, "keyspace" -> keyspacename ))
 .mode(SaveMode.Append)
 .save();

但是在相同版本中，我该如何使用saveToCassandra()方法 我是否需要添加任何罐子，我已经添加了spark-cassandra-connector和cassandra-driver-core。我是否需要添加更多的罐子？我正在获取sparksession作为火花，它不支持createDateFrame()。

Answer 1

saveToCassandra在同一程序包中，但它在works on RDD中，不在DataFrames上。因此，如果要使用该命令（确实应该是一个很好的理由），则只需通过说df.rdd并在其上调用saveToCassandra来从数据帧中获取RDD。

Answer 2

sc = spark.sparkContext;

在sc上，我们可以调用saveToCassandra（）;