Question

我正在玩graphx。我已经建立了一个图表我试图更新关系的权重，

import org.apache.spark.rdd.RDD
import org.apache.spark.graphx._
def pageHash(title:String )  = title.toLowerCase.replace(" ","").hashCode.toLong


val vertexArray = Array(
  (pageHash("Alice"), ("Alice")),
(pageHash("Bob"), ("Bob")),
(pageHash("Charlie"), ("Charlie")),
(pageHash("David"), ("David")),
(pageHash("Ed"), ("Ed")),
(pageHash("Fran"), ("Fran"))
)     
val edgeArray = Array(
 Edge(pageHash("Bob"), pageHash("Alice"), 7),
 Edge(pageHash("Bob"), pageHash("David"), 2),
Edge(pageHash("Charlie"), pageHash("Bob"), 4),
Edge(pageHash("Charlie"), pageHash("Fran"), 3),
Edge(pageHash("David"), pageHash("Alice"), 1),
Edge(pageHash("Ed"), pageHash("Bob"), 2),
Edge(pageHash("Ed"), pageHash("Charlie"), 8),
Edge(pageHash("Ed"), pageHash("Fran"), 3)
)    


val vertexRDD: RDD[(Long, (String))] = sc.parallelize(vertexArray)
val edgeRDD: RDD[Edge[Int]] = sc.parallelize(edgeArray)
val graph: Graph[(String), Int] = Graph(vertexRDD, edgeRDD)

graph.triplets.filter(triplet => triplet.srcAttr.equals("Bob")&&triplet.dstAttr.equals("Alice")).collect()

graph.triplets.filter(triplet => triplet.srcAttr.equals("Bob")&&triplet.dstAttr.equals("Alice")).
    map(triplet=> triplet.attr.toString.toInt+1).collect()

我无法增加节点的重量，有没有办法做到这一点？

Answer 1

您无法直接更新Edge，但您可以通过向Edge和src添加dst新edges功能来做同样的事情。 {1}} RDD中的Graph和权重的增量，然后在您的groupEdges上调用val edges = sc.parallelize(Array(Edge(1L, 2L, 1.0), Edge(2L, 3L, 2.0))) val vertices = sc.parallelize(Array((1L, "Bob"), (2L, "Tom"), (3L, "Jerry"))) val graph = Graph(vertices, edges)。换句话说，如果您有以下图表：

1.0

您可以将val newGraph = Graph(graph.vertices, graph.edges.union( sc.parallelize(Array(Edge(2L, 3L, 1.0))) ).groupEdges((a, b) => a + b)添加到其中一条边的权重中，如下所示：

{{1}}

更新graphx中的边缘权重

1 个答案: