Question

我想知道如何在Spark（Pyspark）中实现以下目标

初始数据框：

+--+---+
|id|num|
+--+---+
|4 |9.0|
+--+---+
|3 |7.0|
+--+---+
|2 |3.0|
+--+---+
|1 |5.0|
+--+---+

生成的数据帧：

+--+---+-------+
|id|num|new_Col|
+--+---+-------+
|4 |9.0|  7.0  |
+--+---+-------+
|3 |7.0|  3.0  |
+--+---+-------+
|2 |3.0|  5.0  |
+--+---+-------+

我设法通常＆＃34;追加＆＃34;使用类似以下内容的数据框的新列： df.withColumn("new_Col", df.num * 10)

但是我不知道如何实现这一目标＆＃34;行的转移＆＃34;对于新列，以便新列具有上一行中的字段值（如示例中所示）。我也无法在API文档中找到有关如何通过索引访问DF中某一行的任何内容。

任何帮助都将不胜感激。

Answer 1

您可以使用lag窗口功能，如下所示

from pyspark.sql.functions import lag, col
from pyspark.sql.window import Window

df = sc.parallelize([(4, 9.0), (3, 7.0), (2, 3.0), (1, 5.0)]).toDF(["id", "num"])
w = Window().partitionBy().orderBy(col("id"))
df.select("*", lag("num").over(w).alias("new_col")).na.drop().show()

## +---+---+-------+
## | id|num|new_col|
## +---+---+-------|
## |  2|3.0|    5.0|
## |  3|7.0|    3.0|
## |  4|9.0|    7.0|
## +---+---+-------+

但有一些重要问题：

如果您需要全局操作（未被其他一些列/列分区），则效率极低。
您需要一种自然的方式来订购数据。

虽然第二个问题几乎不是问题，但第一个问题可能是一个交易破坏者。如果是这种情况，您只需将DataFrame转换为RDD并手动计算lag即可。例如见：

How to transform data with sliding window over time series data in Pyspark
Apache Spark Moving Average（用Scala编写，但可以针对PySpark进行调整。请务必先阅读评论。）

其他有用的链接：

Answer 2

   val df = sc.parallelize(Seq((4, 9.0), (3, 7.0), (2, 3.0), (1, 5.0))).toDF("id", "num")
df.show
+---+---+
| id|num|
+---+---+
|  4|9.0|
|  3|7.0|
|  2|3.0|
|  1|5.0|
+---+---+
df.withColumn("new_column", lag("num", 1, 0).over(w)).show
+---+---+----------+
| id|num|new_column|
+---+---+----------+
|  1|5.0|       0.0|
|  2|3.0|       5.0|
|  3|7.0|       3.0|
|  4|9.0|       7.0|
+---+---+----------+

Spark使用上一行的值向数据框添加新列

2 个答案: