如何使用spark数据帧上的超前滞后窗口进行过滤?

时间:2017-02-22 03:35:30

标签: apache-spark dataframe filter window apache-spark-sql

filter函数选择满足特定条件的Spark数据帧中的所有行。我如何选择 window-filter ,其中选择满足过滤条件的行上方和下方的一组行?例如,我有以下数据框myDF

A    B
1    1
2    12
3    13
4    14
5    10
6    17
7    34
8    12
9    1
10    7
11    1

现在我想写一些类似myDF.orderBy($"A").myWindowFilter("B" === 12, 2)的内容,它会给我以下数据帧(2是滞后/引线宽度):

A    B
1    1
2    12
3    13
4    14
6    17
7    34
8    12
9    1
10    7

如何在Scala / Spark中实现这样的函数myWindowFilter

0 个答案:

没有答案