Spark DataFrame到Avro并将AVRO文件保存到Cassandra表

Question

我在Spark中创建了一个数据框，现在希望以用户定义的AVRO格式保存它，然后将其保存到Cassandra表中。

怎么做？

我尝试使用以下方法将其保存到本地AVRO文件：

df.write().mode("append").format("com.databricks.spark.avro").save("/Users/xyz/AVRO Files/fifth");

Answer 1

df.write()
.format("org.apache.spark.sql.cassandra")
.mode("append")
.save()

你需要使用spark-cassandra-connector将数据帧写入cassandra。