Scala中的完全外部联接

时间:2018-04-09 16:55:09

标签: scala

给定一个列表列表,其中每个列表都有一个表示密钥的对象,我需要编写一个结合了所有列表的完整外部联接。结果列表中的每条记录都是所有列表的所有字段的组合。如果列表1中存在一个键但列表2中不存在,则列表2中的字段应为空或空。

我想到的一个解决方案是嵌入内存数据库,创建表,运行select并获得结果。但是,我想知道是否有任何库以更简单的方式处理它。有什么想法吗?

例如,假设我有两个列表,其中键是列表中的第一个字段:

val list1 = List ((1,2), (3,4), (5,6))
val list2 = List ((1,"A"), (7,"B"))
val allLists = List (list1, list2)

完整的外部联合列表将是:

val allListsJoined = List ((1,2,"A"), (3,4,None), (5,6,None), (7,None,"B"))

注意:解决方案需要适用于N个列表

2 个答案:

答案 0 :(得分:1)

def fullOuterJoin[K, V1, V2](xs: List[(K, V1)], ys: List[(K, V2)]): List[(K, Option[V1], Option[V2])] = {
  val map1 = xs.toMap
  val map2 = ys.toMap
  val allKeys = map1.keySet ++ map2.keySet
  allKeys.toList.map(k => (k, map1.get(k), map2.get(k)))
}

使用示例:

val list1 = List ((1,2), (3,4), (5,6))
val list2 = List ((1,"A"), (7,"B"))
println(fullOuterJoin(list1, list2))

打印哪些:

List((1,Some(2),Some(A)), (3,Some(4),None), (5,Some(6),None), (7,None,Some(B)))

在评论中修改每条建议:

如果您有兴趣加入任意数量的列表而不关心类型信息,那么这是一个版本:

def fullOuterJoin[K](xs: List[List[(K, Any)]]): List[(K, List[Option[Any]])] = {
  val maps = xs.map(_.toMap)
  val allKeys = maps.map(_.keySet).reduce(_ ++ _)
  allKeys.toList.map(k => (k, maps.map(m => m.get(k))))
}

val list1 = List ((1,2), (3,4), (5,6))
val list2 = List ((1,"A"), (7,"B"))
val list3 = List((1, 3.5), (7, 4.0))
val lists = List(list1, list2, list3)
println(fullOuterJoin(lists))

输出:

List((1,List(Some(2), Some(A), Some(3.5))), (3,List(Some(4), None, None)), (5,List(Some(6), None, None)), (7,List(None, Some(B), Some(4.0))))

如果你想要任意数量的列表和良好类型的结果,这可能超出了stackoverflow答案的范围,但可能用shapeless.

完成

答案 1 :(得分:0)

以下是在列表

上单独使用collect的方法
val list1Ite =  list1.collect{
  case ele if list2.filter(e=> e._1 == ele._1).size>0 => { //if list2 _1 contains ele._1
     val left = list2.find(e=> e._1 == ele._1) //find the available element
     (ele._1, ele._2, left.get._2) //perform join
  }
  case others => (others._1, others._2, None) //others add None as _3 
}
//list1Ite: List[(Int, Int, java.io.Serializable)] = List((1,2,A), (3,4,None), (5,6,None))

执行类似的操作,但排除list1Ite

中已有的元素
val list2Ite = list2.collect{
  case ele if list1.filter(e=> e._1 == ele._1).size==0 => (ele._1, None , ele._2)
}
//list2Ite: List[(Int, None.type, String)] = List((7,None,B))

list1Itelist2Ite合并到result

val result = list1Ite.++(list2Ite)

result: List[(Int, Any, java.io.Serializable)] = List((1,2,A), (3,4,None), (5,6,None), (7,None,B))