如何使用Spark Dataframe读写Cassandra表?

时间:2018-06-24 15:57:17

标签: apache-spark cassandra apache-spark-sql

因此,我发现当我们必须使用Cassandra键空间和表名创建数据框时,下面给出的代码将完成这项工作。

val df = spark.read.format("org.apache.spark.sql.cassandra").options(Map("table" -> "table_name", "keyspace" -> "keyspace_name")).load()

现在,在修改了上面的df(dataframe)之后,我想通过覆盖初始内容将其放回到同一张表中。

我尝试用写而不是读来代替,但这不起作用。

如何用修改后的数据框覆盖Cassandra表的内容?

1 个答案:

答案 0 :(得分:1)

gpiozero运行正常(示例来自documentation):

write

但是您需要谨慎写回,如果您修改了分区和集群列的内容,则不会覆盖数据,而是插入新数据...