Question

我创建了一个火花Dataset [Row]，并且该行是Row（x：Vector）。 x这里是一个1xp向量。

是否可以1）每k行分组2）将这些行连接到k x p矩阵-mX，即，将Dateset [Row（Vector）]更改为Dateset [Row（Matrix）]吗？

这是我当前的解决方案，将这个Dataset [Row]转换为RDD，并使用zipWithIndex和gregationByKey将每k行连接起来。

val dataRDD = data_df.rdd.zipWithIndex
    .map {  case (line, index) =>  (index/k, line) }
    .aggregateByKey(...) (..., ...)

但是似乎效率不是很高，有没有更有效的方法？

谢谢。

Answer 1

您的方法存在两个性能问题：

使用全局订购
进行洗牌以建立k的组

如果从第1行开始绝对需要全局排序，并且不能将数据分解为多个分区，则Spark必须将所有数据移动到单个核中。您可以通过找到一种具有多个分区的方法来加快这一部分的速度。

您可以通过使用mapPartitions一次处理一个分区来避免数据混乱：

spark.range(1, 20).coalesce(1).mapPartitions(_.grouped(5)).show

+--------------------+
|               value|
+--------------------+
|     [1, 2, 3, 4, 5]|
|    [6, 7, 8, 9, 10]|
|[11, 12, 13, 14, 15]|
|    [16, 17, 18, 19]|
+--------------------+

请注意，上面的coalesce(1)会将所有20行强制进入一个分区。

Answer 2

以下是将N条记录分为几列的解决方案：

从RDD生成到DF，然后如下所示进行处理。

g是组，k是记录在g中重复的数字的键。 v是您的记录内容。

输入是一个6行的文件，这里我使用了3行的组。

唯一的缺点是，如果行的余数小于分组N。

import org.apache.spark.sql.functions._
import org.apache.spark.mllib.rdd.RDDFunctions._

val dfsFilename = "/FileStore/tables/7dxa9btd1477497663691/Text_File_01-880f5.txt"
val readFileRDD = spark.sparkContext.textFile(dfsFilename)
val rdd2 = readFileRDD.sliding(3,3).zipWithIndex
val rdd3 = rdd2.map(r => (r._1.zipWithIndex, r._2))
val df = rdd3.toDF("vk","g")

val df2 = df.withColumn("vke", explode($"vk")).drop("vk")
val df3 = df2.withColumn("k", $"vke._2").withColumn("v", $"vke._1").drop("vke")

val result = df3
            .groupBy("g")
            .pivot("k")
            .agg(expr("first(v)"))

result.show()

返回：

+---+--------------------+--------------------+--------------------+
|  g|                   0|                   1|                   2|
+---+--------------------+--------------------+--------------------+
|  0|The quick brown f...|Here he lays I te...|Gone are the days...|
|  1|  Gosh, what to say.|Hallo, hallo, how...|          I am fine.|
+---+--------------------+--------------------+--------------------+

如何有效地将Spark数据集中的每k行分组？

2 个答案: