比较pyspark

时间:2016-07-01 11:20:26

标签: pyspark

我在Pyspark中有一个数据框。我想检查列(B)是否有空值,如果null之前的前一个值是非空值,那么计算空值的数量并将其存储在新专栏(c)。然后,如果我达到新值,则重置计数并开始新的计数。实际上,它是时间序列数据,我们想知道间隙大小。

B      C
---------
1      0
--------
null   1
--------
null   2
--------
null   3
--------
3      0
--------
7      0
---------
null   1
---------
null   2
----------

0 个答案:

没有答案