我希望计算时间序列数据集的平均值和标准,该数据集仅在值发生变化时进行记录。
时间序列间隔为1秒,如果生成更改之间的每个缺失值,则会增加数据集膨胀的风险。
数据集类型示例:[Epoch,Value]
[[152345235, 3], [152345335, 12], [152345835, 8]]
我们正在使用python来清理和聚合数据。稀疏矩阵是不够的,因为它基于忽略不存在的0值。在研究中,没有任何迹象显示可以轻易解决这个问题。
我的问题是,有没有人遇到类似的问题,如果有的话,用什么技术来解决。
答案 0 :(得分:1)
我会按epoch
订购列表,然后将每个value
乘以epochs
之间的差值。您不需要以这种方式存储额外的数据,但您可以很容易地解决这些问题。