Question

---编辑---

我的主要问题是我不理解Graphx文档中给出的这一段：

在某些情况下，可能需要在同一图表中使用具有不同属性类型的顶点。这可以通过继承来完成。例如，要将用户和产品建模为二分图，我们可能会执行以下操作：

class VertexProperty()
case class UserProperty(val name: String) extends VertexProperty
case class ProductProperty(val name: String, val price: Double) extends VertexProperty
// The graph might then have the type:
var graph: Graph[VertexProperty, String] = null

在上面给出每个UserProperty和ProductProperty的RDD以及EdgeProperty的RDD的情况下，如何创建Graph [VertexProperty，String]类型的图形。我正在寻找一个例子。

Answer 1

这将帮助您创建二分图，其中vertex属性将帮助您理解不同的类类别。

// 高级界面或VertexProperty

trait Node {   def getVertexID : Long  }

class UserNode(sID: String, sname : String, sAge) extends Node with Serializable { }

class ProductNode(sID: String, sNO : String, sdoe : String) extends Node with Serializable{ }

// 数据加载

val users: RDD[Node]  = sc.textFile("users.txt")
                                 .map { row =>  val cols = row.split(",")
                                         ( new UserNode(cols(0), cols(1), cols(2))
                                  }

val products: RDD[Node]  = sc.textFile("products.txt")
                                 .map { row =>  val cols = row.split(",")
                                        ( new ProductNode(cols(0), cols(1), cols(3)))
                                }

// 加入两个RDD

 val nodes : RDD[Node] = users.++(products)

Answer 2

您可以使用可以合并的消息，例如Iterable [YourClass]。但是，您必须考虑到这些合并的大小可能会变得非常大。

Answer 3

这是一个scala问题，只需使用asInstanceOf将扩展类型转换为抽象类型，例如：

val variable1: RDD[UserProperty]  = {..your code..}
val variable2: RDD[ProductProperty]  = {..your code..}
val result: RDD[VertexProperty] = SparkContext.union(
variable1.asInstanceOf[VertexProperty],
variable2.asInstanceOf[VertexProperty])

边缘属性也一样，使用

val edge: EdgeProperty = Edge(srcID, dstID, variable.asInstanceOf(EdgeProperty))

顶点属性继承 - Graphx Scala Spark

3 个答案: