Python,Pandas:在时间戳和偏移

时间:2017-08-26 12:54:59

标签: python pandas datetime numpy dataframe

实际上有两个问题,但让我们试着解释一下。

我有两个数据源(例如数据帧)。一个包含GPS坐标和驱动轨道的时间戳。另一个包含特定的兴趣点,由时间偏移给出 - 但没有GPS坐标。任务是找到兴趣点的GPS坐标。

这是我得到的。具有GPS坐标的数据帧被重采样为1秒间隔,并且以线性方式插入缺失值:

df_resampled.head()

使用此输出:

Time, LongitudeDegrees, LatitudeDegrees, DistanceMeters, AltitudeMeters

2017-08-24 13:33:46, 15.457636, 47.047332, 0.0, 348.600006
2017-08-24 13:33:47, 15.457668, 47.047288, 0.0, 348.600006
2017-08-24 13:33:48, 15.457699, 47.047244, 0.0, 348.600006
2017-08-24 13:33:49, 15.457973, 47.047136, 0.0, 348.600006

备注:类型都是float,而索引是Numpy.dtype(datetime)。转换和重新取样由以下方式完成:

# convert numeric types first
df = df.apply(pd.to_numeric, errors='ignore')

# convert timestamp to datetime and set the index
df['Time'] = pd.to_datetime(df['Time'])
df.set_index('Time', inplace=True)

# resample to seconds and linear fill of missing values
df_downscaled = df.resample('S').mean()
df_resampled = df_downscaled.interpolate(method='linear')

另一个数据框包含兴趣点,没有时间戳,但有时间偏移:

df_poi.head()

给出这个输出:

index, time_offset, value

0, 00:25, 60
1, 01:18, 60
2, 01:30, 100
3, 01:55, 100
4, 02:16, 100

问题&任务:但是现在我被卡住了。我想将第二个数据帧的 time_offset 列转换为句点或日期时间类型,并将其添加到第一个数据帧的第一个时间戳(start_time)。

但是 a)我不知道如何将格式字符串mm:ss(Minutes:Seconds)转换为datetime-offset(或句点)并将其添加到另一个时间戳。

必须添加所有偏移量的start_time将是:

start_time = df_resampled.index[0]

将偏移量转换为实时时间戳后,我会将第二个数据帧加入时间戳列中的第一个数据帧。

1 个答案:

答案 0 :(得分:1)

pd.to_timedelta可以将HH:MM:SS格式的字符串转换为timedelta64 s。 由于您的字符串采用MM:SS格式,因此您可以使用

df_poi['time_offset'] = pd.to_timedelta('00:' + df_poi['time_offset'])

将它们转换为timedelta64 s。 (('00:' + df_poi['time_offset'])添加 00:中的每个字符串df_poi['time_offset']以形成一个新字符串 HH:MM:SS格式。)

您可以将start添加到df_poi['time_offset']

start = df.index[0]
df_poi['Time'] = df_poi['time_offset'] + start

现在您可以合并两个DataFrame:

result = pd.merge(df, df_poi, how='right', left_index=True, right_on='Time')
import pandas as pd
import numpy as np
np.random.seed(2017)
N, M = 1000, 5
df = pd.DataFrame({'Time':pd.date_range('2017-8-24 13:33:46', periods=N, freq='S'),
                   'Long':np.random.uniform(0, 360, size=N),
                   'Lat':np.random.uniform(-90, 90, size=N),})
df = df.set_index(['Time'])

df_poi = pd.DataFrame({'time_offset':['00:25', '01:18', '01:30', '01:55', '02:16'],
                       'value':np.random.randint(100, size=M)})

df_poi['time_offset'] = pd.to_timedelta('00:' + df_poi['time_offset'])
start = df.index[0]
df_poi['Time'] = df_poi['time_offset'] + start
result = pd.merge(df, df_poi, how='right', left_index=True, right_on='Time')

产量

         Lat        Long time_offset  value                Time
0 -19.851775  276.063876    00:00:25     28 2017-08-24 13:34:11
1  22.399545   61.956233    00:01:18     68 2017-08-24 13:35:04
2  35.472442  275.165153    00:01:30     56 2017-08-24 13:35:16
3 -60.588755   91.961901    00:01:55      2 2017-08-24 13:35:41
4  34.339641    4.033255    00:02:16     75 2017-08-24 13:36:02