按事件划分的时间序列规范化 - 通用版本

时间:2015-11-15 20:28:24

标签: python pandas

这个问题只是我已发布的问题的通用版本Time series normalization by event

假设我有一个如下的python dict,对于每个产品,key是时间戳,value是该时间戳产品的价格。

data_dict = {
'product_1' : {1: 415, 2: 550, 3: 0,   4: 550, 5: 600},
'product_2' : {1: 400, 2: 300, 3: 300, 4: 0,   5: 300},
'product_3' : {1: 500, 2: 0  , 3: 0,   4: 500, 5: 500},
'product_4' : {1: 0,   2: 200, 3: 200, 4: 300, 5: 300}
 }

在时间序列分析中,通过某种事件重新规范许多时间序列非常常见,假设我们将事件视为产品空闲时的时间戳。在通用版本中,我允许产品免费使用多天。我想得到一个这种结构的表格。

           | -3  | -2  | -1  | 0 | +1  | +2  | +3  | +4  |
---------------------------------------------------------
product_1  | NA  | 415 | 550 | 0 | 550 | 600 | NA  | NA  |
product_2  | 400 | 300 | 300 | 0 | 300 | NA  | NA  | NA  |
product_3  | NA  | NA  | 500 | 0 | 500 | 500 | NA  | NA  |
product_4  | NA  | NA  | NA  | 0 | 200 | 200 | 300 | 300 |

使用pandas for python有没有办法轻松做到这一点?我相信很多数据科学人员在某些时候都必须做类似的事情。如果没有,如果熊猫家伙将来可以为这样的东西添加一些功能,真的很感激!同时,任何建议如何去做?

1 个答案:

答案 0 :(得分:1)

在此基础上建立限制性案例的答案:https://stackoverflow.com/a/33723633/1853020

我修改了函数以引入左右限制:

def sync(arr):
    shift_l = np.where(arr.values == 0)[0][0]
    shift_r = np.where(arr.values == 0)[0][-1]
    if shift_l == shift_r:
        return pd.Series(arr.values, np.arange(-shift_l , len(arr.values) - shift_l))
    else:
        arr2 = np.delete(arr.values, [x for x in range(shift_l, shift_r)])
        return pd.Series(arr2, np.arange(-shift_l, len(arr2) - shift_l))

然后将它应用于由data_dict创建的pandas数据帧:

pd.DataFrame(data_dict).apply(sync).T

            -3   -2   -1   0    1    2    3    4
product_1  NaN  415  550   0  550  600  NaN  NaN
product_2  400  300  300   0  300  NaN  NaN  NaN
product_3  NaN  NaN  500   0  500  500  NaN  NaN
product_4  NaN  NaN  NaN   0  200  200  300  300