相当于pyspark超前和滞后功能的Dask

时间:2018-12-08 12:42:38

标签: pyspark pyspark-sql dask

是否可以在dask数据帧中接收lag的{​​{1}}或lead窗口函数可以接收到的类似结果?我想转换以下数据框

pyspark

像这样

    +-------+
    | value |
    +-------+
    | 1     |
    | 2     |
    | 3     |
    +-------+

1 个答案:

答案 0 :(得分:1)

Dask数据框仅反映了熊猫界面。在这种情况下,您想要的方法是shift

window.onload = function () {
    if (!('hasCodeRunBefore' in localStorage)) {
    // code to run
    localStorage.set.single('has_code_run_before', true);
    }
}

但是,如果您尝试对齐行以进行某种形式的窗口化或滚动式计算,您可能会对map_overlap更加感兴趣,这会提高性能。