从CassandraRDD中有效地解析获取的数据并将其保存回Cassandra

时间:2015-05-18 14:17:37

标签: cassandra datastax

我是使用Java编程Spark的新手。我已经在CassandraRDD中获取了记录

人类包括id,name,status,dept,....等。 根据部门我需要将人的状态从默认的null更改为" randomValue"和许多其他转变。

我需要实现这个解析逻辑,然后将rdd保存回cassandra。 使用Map或mapPartitions或任何其他函数解析逻辑,该函数将解析每条记录并创建RDD以将其保存回Cassandra。

CassandraRDD<Person> rdd = javaFunctions(ctx).cassandraTable("keyspace1", "person_table", mapRowTo(Person.class)).rdd();
System.out.println("RDD : " + rdd.count());  //Currently It returns 1000 i.e. all records from table
/*
     Parsing logic will go here which will generate 'parsed_rdd'
*/
javaFunctions(parsed_rdd).writerBuilder("keyspace1", "person_table",mapToRow(Person.class)).saveToCassandra();  //Save it back to cassandra

感谢。任何帮助将不胜感激!

0 个答案:

没有答案