Question

我有一个对象列表，其中一个是另一个列表（或实际上，Seq [Row] - 这些是RDD），我想将它们合并在一起。有一个包含行<a, b, c, d>的列表，其中 d 本身就是另一个列表<q, r, s, t>，其中一个是另一个嵌套列表但是为了简单起见，我们忽略它。我想将其更改为<a, b, c, q1, r1, s1, t1>, <a, b, c, q2, r2, s2, t2> ...

列表

我可以将信息提取到案例类等中，然后将它们组合在一起，但我觉得应该有一种方法可以使用zip和map等以更好的功能方式编写它，我该怎么办？

编辑详细说明：

列表来自hdfs上的嵌套RDD表。

parent: <Long, String, String, Long, String, Float, Seq[Row] foolist >
foolist: <String, String, Long, Int, Seq[Row] barlist >
barlist: <String, Boolean, Int, Long, Seq[Row] list1, Seq[Row] list2 >

他们有更多的领域。除了父对象之外，我不需要过滤掉最终结果中的任何字段，其中父对象中的一行将成为

中值的集合。

{parent row}, {foo row 1}, {barlist row 1}
{parent row}, {foo row 1}, {barlist row 2}
{parent row}, {foo row 1}, {barlist row N}
{parent row}, {foo row 2}, {barlist row 1}
{parent row}, {foo row 2}, {barlist row N}
...
{parent row}, {foo row M}, {barlist row N}

不是元组，只是一个简单的字段列表（Long，String，String，Long，String，Float，String，String，Long，Int，String，Boolean，Int，Long ..）

Answer 1

您可以使用flatMap：

seq.flatMap {case（a，b，c，d）=＆gt; d.map {case（q，r，s，t）=＆gt; （A，B，C，Q，R，S，T）}}

或者：

val res = for {
  (a,b,c,d) <- seq;
  (q,r,s,t) <- d
} yield (a,b,c,q,r,s,t)

Answer 2

您可以使用：

def flat(seq: Seq[Any]):Seq[Any] = seq flatMap {
  case sq:Seq[_] => flat(sq)
  case x => Seq(x)
}

修改如果你想展平行，你可以尝试：

def flat(seq: Seq[Any]):Seq[Any] = seq flatMap { case Seq(row) => flat(row.toSeq) case x => Seq(x) }

将嵌套的对象列表合并到一个列表中

2 个答案: