我正在使用gz和json类型的edge压缩vertices文件创建图表。
我已将文件放在保管箱文件夹here
中我加载并映射这些json条记录，以创建vertices所需的edge和graphx类型，如下所示：
val vertices_raw = sqlContext.read.json("path/vertices.json.gz")
val vertices = vertices_raw.rdd.map(row=> ((row.getAs[String]("toid").stripPrefix("osgb").toLong),row.getAs[Long]("index")))
val verticesRDD: RDD[(VertexId, Long)] = vertices
val edges_raw = sqlContext.read.json("path/edges.json.gz")
val edgesRDD = edges_raw.rdd.map(row=>(Edge(row.getAs[String]("positiveNode").stripPrefix("osgb").toLong, row.getAs[String]("negativeNode").stripPrefix("osgb").toLong, row.getAs[Double]("length"))))
val my_graph: Graph[(Long),Double] = Graph.apply(verticesRDD, edgesRDD).partitionBy(PartitionStrategy.RandomVertexCut)
然后我使用我发现的dijkstra实现来计算两个顶点之间的最短路径：
def dijkstra[VD](g: Graph[VD, Double], origin: VertexId) = {
var g2 = g.mapVertices(
(vid, vd) => (false, if (vid == origin) 0 else Double.MaxValue, List[VertexId]())
)
for (i <- 1L to g.vertices.count - 1) {
val currentVertexId: VertexId = g2.vertices.filter(!_._2._1)
.fold((0L, (false, Double.MaxValue, List[VertexId]())))(
(a, b) => if (a._2._2 < b._2._2) a else b)
._1
val newDistances: VertexRDD[(Double, List[VertexId])] =
g2.aggregateMessages[(Double, List[VertexId])](
ctx => if (ctx.srcId == currentVertexId) {
ctx.sendToDst((ctx.srcAttr._2 + ctx.attr, ctx.srcAttr._3 :+ ctx.srcId))
},
(a, b) => if (a._1 < b._1) a else b
)
g2 = g2.outerJoinVertices(newDistances)((vid, vd, newSum) => {
val newSumVal = newSum.getOrElse((Double.MaxValue, List[VertexId]()))
(
vd._1 || vid == currentVertexId,
math.min(vd._2, newSumVal._1),
if (vd._2 < newSumVal._1) vd._3 else newSumVal._2
)
})
}
g.outerJoinVertices(g2.vertices)((vid, vd, dist) =>
(vd, dist.getOrElse((false, Double.MaxValue, List[VertexId]()))
.productIterator.toList.tail
))
}
我采用两个随机顶点id：
val v1 = 4000000028222916L
val v2 = 4000000031019012L
并计算它们之间的路径：
val results = dijkstra(my_graph, v1).vertices.map(_._2).collect
我无法在笔记本电脑上本地计算，而不会出现堆栈溢出错误。我可以看到它使用了4个核心中的3个。我可以使用Python中的igraph库在完全相同的图上加载此图并计算每秒最短的10个路径。这是计算路径的低效手段吗？在规模上，在多个节点上，路径将计算（没有堆栈溢出错误），但每个路径计算仍然是30/40秒。
答案 0 :(得分：0)
正如您可以阅读python-igraph github
＆＃34;它旨在尽可能强大（即快速）启用 分析大图。＆＃34;
为了解释为什么apache-spark的时间比本地python多4000倍，你可以看看here（深入探讨Spark PMC成员Kay Ousterhout的性能瓶颈）。这可能是由于瓶颈所致：
......从网络和磁盘I / O是主要瓶颈的想法开始...... 您可能不需要将数据存储在内存中，因为作业可能不会那么快。这就是说，如果您将序列化压缩数据从磁盘上移动到内存中......