Question

我有一个用户：RDD[(Long, Vertex)]用户集合。我想在我的Vertex对象之间创建链接。规则是：如果两个顶点在所选属性中具有相同的值 - 将其命名为prop1，则存在链接。

我的问题是如何检查同一个集合中的每一对。如果我这样做：

val rels = users.map(
  x => users.map(y => if(x._2.prop1 == y._2.prop1){(x._1, y._1)}))

我找回了RDD[RDD[Any]]而不是RDD[(Long, Long)]按预期让图表工作

Answer 1

首先，您无法从另一个操作或转换开始转换操作，更不用说创建嵌套的RDDs了。所以你根本不可能得到RDD[RDD[Any]]。

这里你需要的是一个简单的连接，大致相当于这样的事情，其中T是property1的一种类型：

val pairs: RDD[(T, Long)] = users.map{ case (id, v) => (v.prop1, id) }
val links: RDD[(Long, Long)] = pairs
  .join(pairs)  // join by a common property, equivalent to INNER JOIN in SQL
  .values  // drop properties
  .filter{ case (v1, v2) => v1 != v2 }  // filter self-links

如何根据属性在RDD [（Long，Vertex）]中的顶点之间创建链接？

1 个答案: