Spark GraphX - 如何从Spark中读取JSON文件并从数据中创建图形？

Question

我是Spark和Scala的新手，我正在尝试从JSON文件中读取一堆高音扬声器数据并将其转换为一个顶点代表推文并且边缘连接到推文的图形。重发原始发布项目的推文。 到目前为止，我已经设法从JSON文件中读取并找出了我的RDD的Schema。 现在我相信我需要以某种方式从SchemaRDD对象获取数据，并为顶点创建RDD，为边创建RDD。这是接近这个的方法还是有替代解决方案？任何帮助和建议都将受到高度赞赏。

Answer 1

这实际上取决于你的json文件。您需要解析json文件中的数据，并根据解析的数据创建顶点和边。没有一种方法可以实现这一点，它真的取决于程序员。一种方法是创建顶点数组和边数组（再次基于解析数据）并并行化（创建VertexRDD和EdgeRDD），然后创建所需的图形。希望我帮忙。