Question

我正在使用带有数据的Spark SQL DataFrame，而我想要得到的是给定日期范围内当前行之前的所有行。因此，例如，我希望将7天之前的所有行放在给定行之前。我想我需要使用Window Function之类的：

Window \
    .partitionBy('id') \
    .orderBy('start')

这就是问题所在。我希望有一个rangeBetween 7天，但我可以找到的Spark文档中没有任何内容。 Spark甚至提供这样的选择吗？现在，我只是通过以下方式获取前面的行：

.rowsBetween(-sys.maxsize, 0)

但希望实现以下目标：

.rangeBetween("7 days", 0)

如果有人能帮助我，我将非常感激。提前谢谢！

Answer 1

Spark＆gt; = 2.3

从Spark 2.3开始，可以使用SQL API来使用区间对象，但DataFrame API支持是except IE 8 & 9。

df.createOrReplaceTempView("df")

spark.sql(
    """SELECT *, mean(some_value) OVER (
        PARTITION BY id 
        ORDER BY CAST(start AS timestamp) 
        RANGE BETWEEN INTERVAL 7 DAYS PRECEDING AND CURRENT ROW
     ) AS mean FROM df""").show()

## +---+----------+----------+------------------+       
## | id|     start|some_value|              mean|
## +---+----------+----------+------------------+
## |  1|2015-01-01|      20.0|              20.0|
## |  1|2015-01-06|      10.0|              15.0|
## |  1|2015-01-07|      25.0|18.333333333333332|
## |  1|2015-01-12|      30.0|21.666666666666668|
## |  2|2015-01-01|       5.0|               5.0|
## |  2|2015-01-03|      30.0|              17.5|
## |  2|2015-02-01|      20.0|              20.0|
## +---+----------+----------+------------------+

Spark＆lt; 2.3

据我所知，Spark和Hive都不可能直接使用。两者都需要与ORDER BY一起使用的RANGE子句为数字。我发现最接近的是转换为时间戳并在几秒钟内运行。假设start列包含date类型：

from pyspark.sql import Row row = Row("id", "start", "some_value") df = sc.parallelize([ row(1, "2015-01-01", 20.0), row(1, "2015-01-06", 10.0), row(1, "2015-01-07", 25.0), row(1, "2015-01-12", 30.0), row(2, "2015-01-01", 5.0), row(2, "2015-01-03", 30.0), row(2, "2015-02-01", 20.0) ]).toDF().withColumn("start", col("start").cast("date"))

小帮手和窗口定义：

from pyspark.sql.window import Window from pyspark.sql.functions import mean, col # Hive timestamp is interpreted as UNIX timestamp in seconds* days = lambda i: i * 86400

最后查询：

w = (Window() .partitionBy(col("id")) .orderBy(col("start").cast("timestamp").cast("long")) .rangeBetween(-days(7), 0)) df.select(col("*"), mean("some_value").over(w).alias("mean")).show() ## +---+----------+----------+------------------+ ## | id| start|some_value| mean| ## +---+----------+----------+------------------+ ## | 1|2015-01-01| 20.0| 20.0| ## | 1|2015-01-06| 10.0| 15.0| ## | 1|2015-01-07| 25.0|18.333333333333332| ## | 1|2015-01-12| 30.0|21.666666666666668| ## | 2|2015-01-01| 5.0| 5.0| ## | 2|2015-01-03| 30.0| 17.5| ## | 2|2015-02-01| 20.0| 20.0| ## +---+----------+----------+------------------+

远非漂亮而是有效。

* still work in progress

Answer 2

很棒的解决方案@ zero323，如果您要使用分钟而不是我需要的几天，并且不需要使用 id 进行分区，那么您只需要修改一个简单的部分我显示的代码：

df.createOrReplaceTempView("df")
spark.sql(
    """SELECT *, sum(total) OVER (
        ORDER BY CAST(reading_date AS timestamp) 
        RANGE BETWEEN INTERVAL 45 minutes PRECEDING AND CURRENT ROW
     ) AS sum_total FROM df""").show()

Spark窗口函数 - rangeBetween日期

2 个答案: