如何将包含大量对象的RDD转换为json文件？

Question

case class VoyageObj(val id:String, val type: String)

我的问题是如何将RDD[VoyageObj]转换为json文件，其格式如下：

[{
  "id":"111111",
  "type":"Voyage"
},
{
  "id":"111112",
  "type":"Voyage"
}]

我知道如何在list[VoyageObj]方面做到这一点。然而，我不知道如何进行转换为RDD[VoyageObj]超过200G。

Answer 1

val rdd = sc.parrallelize（List（“[”+ urjsonRDD.collect（）+“]”））