如何使用Spark Scala将数据帧转换为RDD并将其存储在Cassandra中

Question

如何将数据帧转换为RDD并将其存储在Spark Scala的Cassandra中。 考虑下面的示例，

public class MyClass {
    @Autowired
    private CacheManager cacheManager; // this is a Spring CacheManager

    public void methodToBeCalled(){
        cacheManager.getCache("cache1").clear();
        cacheManager.getCache("cache2").clear();
    }
}

这里我仅以3列为例，但实际上我需要处理18列。

Answer 1

您可以直接保存DF，而无需转换为RDD。

df.write.format("org.apache.spark.sql.cassandra").options(Map( "table" -> "employee", "keyspace" -> "emp_data")).save()

谢谢。