示例java spark程序读取并加载json文件作为RDD

Question

我正在寻找一个可以在spark中读取本地json文件的示例java程序。

Answer 1

该示例是http://spark.apache.org/docs/latest/sql-programming-guide.html#json-datasets的文档的一部分：

// sc is an existing JavaSparkContext.
SQLContext sqlContext = new org.apache.spark.sql.SQLContext(sc);

// A JSON dataset is pointed to by path.
// The path can be either a single text file or a directory storing text files.
DataFrame people = sqlContext.read.json("examples/src/main/resources/people.json");

Answer 2

您必须创建自己的特定jsonFormat类，并且在spark sc.textFile中您必须创建该类的对象并返回这些对象的rdd，否则您将需要实现json记录阅读器，它将实现此接口RecordReader [关键，价值]。