Spark数据集解压缩函数

Question

我有Dataset[(A,B)]。我正在寻找unzip(Set[A,B]) => (Set[A], Set[B])之类的东西。我有什么选择？我没有在Dataset API中找到任何内容。我是否需要下载到RDD并重新启动它？

这是由加入引起的，加入了便宜的＆＃39;足够两次加入，只是反过来？由于这两套已经存在，因此似乎过多。

Answer 1

我认为应该很明显的一个解决方案就是做两个步骤 val a = ds.map(_._1) val b = ds.map(_._2)