使用Spark-Cassandra连接器连接Cassandra的Python代码

Question

我必须先使用spark数据框读取一些csv文件，并对这些数据进行预处理，然后再将这些数据写入cassandra

现在我可以读取和预处理数据，但是将这些数据写入cassandra会遇到一些问题

Spark version - 2.4.1
Python - 2.7
Cassandra - 3.11

我尝试过使用不同版本的spark和cassandra，但无法使用org.apache.spark.sql.write软件包连接cassandra

def episode_of_care_to_cassandra():
    ec = episode_of_care[['master_id', 'start_time', 'end_time']].copy()
    ecare = sqlc.createDataFrame(ec)
    print(ecare.collect())
    print(dir(ecare))
    ecare.write.format("org.apache.spark.sql.cassandra")
               .mode('append')
               .options(table="ecare", keyspace="utss")
               .save()