Question

我需要为我的数据集实现分页（在Spark Scala中）。

如果在spark数据集中有100条记录，那么我需要分成20批，每批5个元素。

请问如何将spark数据集/数据帧拆分为N行？

-NS

Answer 1

是否要对这些拆分的数据集执行进一步的关系操作？如果没有，并且如果您只有100行，那么我会做类似的事情

ds.collect.grouped(5)

Answer 2

不确定是否有更好的方法，但是您可以尝试：将数据框转换为rdd，使用zipWithIndex，进行过滤，然后再次转换为数据框。

例如，假设您的数据框由

给出

scala> val df=sc.parallelize(1 to 100).toDF("value")
df: org.apache.spark.sql.DataFrame = [value: int]

scala> df.show()
+-----+
|value|
+-----+
|    1|
|    2|
|    3|
|    4|
|    5|
|    6|
|    7|
|    8|
|    9|
|   10|
|   11|
|   12|
|   13|
|   14|
|   15|
|   16|
|   17|
|   18|
|   19|
|   20|
+-----+
only showing top 20 rows

转换为rdd并使用索引压缩，如下所示：val dfRDD=df.rdd.zipWithIndex

scala> val dfRDD=df.rdd.zipWithIndex
dfRDD: org.apache.spark.rdd.RDD[(org.apache.spark.sql.Row, Long)] = ZippedWithIndexRDD[81] at zipWithIndex at <console>:69

对于第一个包含第1至5行的数据框，请按以下步骤进行过滤：

val firstDF=dfRDD.filter{case(datum,index)=>(0 to 4).contains(index)}.map(_._1)
scala> val firstDF=dfRDD.filter{case(datum,index)=>(0 to 4).contains(index)}.map(_._1)
firstDF: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[85] at map at <console>:71

最后，如下转换为数据框：sqlContext.createDataFrame(firstDF,df.schema)

scala> sqlContext.createDataFrame(firstDF,df.schema).show()
+-----+
|value|
+-----+
|    1|
|    2|
|    3|
|    4|
|    5|
+-----+

您必须对其余(5 to 9)，(10 to 14)等行重复这些步骤。

编辑：为了使事情更快一点，我定义了一个方法

def splitDF(range:scala.collection.immutable.Range.Inclusive):org.apache.spark.sql.DataFrame={
    val mySplitRDD=dfRDD.filter{case(datum,index)=>range.contains(index)}.map(_._1)
    val mySplitDF=sqlContext.createDataFrame(mySplitRDD,df.schema)
    mySplitDF
}

然后使用地图获取所有拆分，例如

val dataframes=List((0 to 4), (5 to 9),(10 to 14)).map(i=>splitDF(i))

scala> val dataframes=List((0 to 4), (5 to 9),(10 to 14)).map(i=>splitDF(i))
dataframes: List[org.apache.spark.sql.DataFrame] = List([value: int], [value: int], [value: int])

数据框2：

scala> dataframes(1).show()
+-----+
|value|
+-----+
|    6|
|    7|
|    8|
|    9|
|   10|
+-----+

数据框1：

scala> dataframes(0).show()
+-----+
|value|
+-----+
|    1|
|    2|
|    3|
|    4|
|    5|
+-----+

数据框3：

scala> dataframes(2).show()
+-----+
|value|
+-----+
|   11|
|   12|
|   13|
|   14|
|   15|
+-----+

Spark DataFrame / DataSet分页或一次迭代N行的块

2 个答案: