使用pandas.shift()根据scipy.signal.correlate对齐数据集

时间:2013-10-28 18:32:49

标签: python pandas scipy

我的数据集如下所示:data0data1data2(类似于时间与电压数据)

如果我使用以下代码加载和绘制数据集:

import pandas as pd
import numpy as np
from scipy import signal
from matplotlib import pylab as plt

data0 = pd.read_csv('data0.csv')
data1 = pd.read_csv('data1.csv')
data2 = pd.read_csv('data2.csv')

plt.plot(data0.x, data0.y, data1.x, data1.y, data2.x, data2.y)

我得到类似的东西:

plotting all three datasets

现在我尝试将data0与data1:

相关联
shft01 = np.argmax(signal.correlate(data0.y, data1.y)) - len(data1.y)
print shft01
plt.figure()
plt.plot(data0.x, data0.y,
         data1.x.shift(-shft01), data1.y)
fig = plt.gcf()

带输出:

-99

shifted version of data1

正如预期的那样有效!但如果我用data2尝试相同的东西,我会得到一个看起来像的情节:

shifted version of data2

正向移位410。我想我只是不理解pd.shift()是如何工作的,但我希望我可以使用pd.shift()来对齐我的数据集。据我了解,correlate()的回复告诉我我的数据集离我有多远,所以我应该能够使用shift来重叠它们。

2 个答案:

答案 0 :(得分:7)

panda.shift()不是沿x轴移动曲线的正确方法。您应该调整点的X值:

plt.plot(data0.x, data0.y)
for target in [data1, data2]:
    dx = np.mean(np.diff(data0.x.values))
    shift = (np.argmax(signal.correlate(data0.y, target.y)) - len(target.y)) * dx
    plt.plot(target.x + shift, target.y)

这是输出:

enter image description here

答案 1 :(得分:3)

@HYRY对您的回答进行了一次更正:len()(基于1)和np.argmax()(基于0)之间存在索引不匹配。该行应为:

shift = (np.argmax(signal.correlate(data0.y, target.y)) - (len(target.y)-1)) * dx

例如,在您的信号已经对齐的情况下:

len(target.y) = N(从一开始)

互相关函数的长度为2N-1,因此对齐数据的中心值为:

np.argmax(signal.correlate(data0.y, target.y) = N - 1(从零开始)

shift = ((N-1) - N) * dx =( - 1)* dx,当我们真的想要0 * dx