我是使用Java编程Spark的新手。我已经在CassandraRDD中获取了记录
人类包括id,name,status,dept,....等。 根据部门我需要将人的状态从默认的null更改为" randomValue"和许多其他转变。
我需要实现这个解析逻辑,然后将rdd保存回cassandra。 使用Map或mapPartitions或任何其他函数解析逻辑,该函数将解析每条记录并创建RDD以将其保存回Cassandra。
CassandraRDD<Person> rdd = javaFunctions(ctx).cassandraTable("keyspace1", "person_table", mapRowTo(Person.class)).rdd();
System.out.println("RDD : " + rdd.count()); //Currently It returns 1000 i.e. all records from table
/*
Parsing logic will go here which will generate 'parsed_rdd'
*/
javaFunctions(parsed_rdd).writerBuilder("keyspace1", "person_table",mapToRow(Person.class)).saveToCassandra(); //Save it back to cassandra
感谢。任何帮助将不胜感激!