将实体类对象列表转换为JavaPairRDD

Question

我有Person类的对象列表。我想将其转换为JavaPairRDD。

我想创建一对Object，BSONObject类型，以便将它们存储在MongoDB中。

Answer 1

我不确定你想从单个Person对象获得哪些对，但是这段代码应该是一个好的开始。无论如何，我建议你阅读一些例子： https://github.com/apache/spark/tree/master/examples/src/main/java/org/apache/spark/examples

List<Person> list = new ArrayList<Person>();
JavaSparkContext ctx = new JavaSparkContext(new SparkConf());
JavaPairRdd<Object, BSONObject> rdd = ctx
  .parallelize(list)
  .mapToPair(person -> new Tuple2<Object, BSONObject>(person, convertToBson(person));

public BSONObject convertToBson(final Person person) {
  ...
}