Pyspark将RDD保存到Cassandra

Question

我有一个RDD（test_rdd），如下所示

[
{'user_lname': u'TEst1', 'user_id': u'2aa8ae30-c0e5-48bb-ab16-a2ed2e78c8c3', 'user_phone': u'1234567890', 'user_fname': u'TestingTesting2', 'amount': 1222,’event_timestamp': u’2016-09-29T07:49:50.866+00:00’}, 

{'user_lname': u'TEst2', 'user_id': u'2aa8ae30-c0e5-48bb-ac16-a2ed2e78c8c3', 'user_phone': u'1234567891', 'user_fname': u'TestingTesting', 'amount': 12,’event_timestamp': u’2016-10-27T07:49:50.866+00:00’},

{'user_lname': u'TEst3', 'user_id': u'2aa8ae30-c1e5-48bb-ab16-a2ed2e78c8c3', 'user_phone': u'1234567892', 'user_fname': u'TestingTesting3', 'amount': 122,’event_timestamp': u’2016-09-27T07:49:50.866+00:00'}
]

我想将上述RDD保存到cassandra表中 我使用

时出现以下错误

test_rdd.saveToCassandra("keyspace1","table1")  

  

回溯（最近一次调用最后一次）：文件＆＃34; /var/spark/test/k.py"，   第179行，在       parsed_data.saveToCassandra（＆＃34; keyspace1＆＃34;，＆＃34; table1＆＃34;）AttributeError：＆＃39; PipelinedRDD＆＃39;对象没有属性   ＆＃39; saveToCassandra＆＃39;

Answer 1

无论

• 按照pyspark-cassandra
的说明操作
• 和import pyspark_cassandra

或

• 按照官方spark-cassandra-connector
的说明进行操作
• 转换为DataFrame（toDF）

• 写Dataframe

  df.write.format("org.apache.spark.sql.cassandra").options(
    table=table, keyspace=keyspace
  ).save()