感谢您关注此事....
需要降低IoT传感器数据时间戳和合并的精度。
我有两个带有以下数据的csv文件
CSV-1
datetime,temperature
2017-06-13 22:20:11.309,82.4
2017-06-13 22:19:54.004,82.4
2017-06-13 22:19:36.661,82.4
2017-06-13 22:19:19.359,82.4
CSV-2
datetime,humidity
2017-06-13 22:07:30.723,63.0
2017-06-13 22:07:13.448,63.0
2017-06-13 22:06:56.115,63.0
2017-06-13 22:06:38.806,63.0
请注意，datetime条目为毫秒。我使用以下代码将精度降低到秒。
ugt = pd.read_csv('ugt.csv', parse_dates=True, index_col=0)
ugh = pd.read_csv('ugh.csv', parse_dates=True, index_col=0)
ugt.index = ugt.index.map(lambda x: x.replace(microsecond=0))
ugh.index = ugh.index.map(lambda x: x.replace(microsecond=0))
产生以下数据帧：
temperature
datetime
2017-06-13 22:06:57 82.4 <---
2017-06-13 22:06:37 82.4
2017-06-13 22:06:20 82.4
2017-06-13 22:06:03 82.0 <---
humidity
datetime
2017-06-13 22:06:57 63.0 <---
2017-06-13 22:06:38 63.0
2017-06-13 22:06:21 63.0
2017-06-13 22:06:03 63.0 <---
请注意，某些时间戳匹配（请参阅＆lt; ---）到第二个，其他时间戳则不匹配。这是由于各种传感器执行读数的能力的限制。没有始终如一的频率。
然后我们创建一个主数据框，在我们从所有传感器收集数据的时间段内，每天的第二天填充行数。
temperature humidity
2017-04-25 12:00:00 0 0
2017-04-25 12:00:01 0 0
2017-04-25 12:00:02 0 0
2017-04-25 12:00:03 0 0
2017-04-25 12:00:04 0 0
我们无法弄清楚如何使用pandas concat，合并，根据datetime将两个csv文件附加到主数据帧中。我们想要的是以下内容：
temperature humidity
2017-04-25 12:00:00 0 0
2017-04-25 12:00:01 82.0 0
2017-04-25 12:00:02 0 44.0
2017-04-25 12:00:03 0 0
2017-04-25 12:00:04 82.0 44.0
2017-04-25 12:00:05 0 0
2017-04-25 12:00:06 82.0 0
2017-04-25 12:00:07 0 0
2017-04-25 12:00:08 82.0 44.0
我们将来会增加额外的传感器......光线，二氧化碳，所以几乎每一秒都会有一个包含数据的列。
我们还希望对各种传感器能够收集数据及其准确性的频率进行一些分析，从而使用主数据帧。
你们都摇滚！谢谢你的帮助。
答案 0 :(得分：2)
临时（温度）数据帧：
datetime temperature
0 2017-06-13 22:20:11.309 82.4
1 2017-06-13 22:19:54.004 82.4
2 2017-06-13 22:19:36.661 82.4
3 2017-06-13 22:19:19.359 82.4
潮湿的数据框：
datetime humidity
0 2017-06-13 22:07:30.723 63.0
1 2017-06-13 22:07:13.448 63.0
2 2017-06-13 22:06:56.115 63.0
3 2017-06-13 22:06:38.806 63.0
temp.datetime = pd.to_datetime(temp.datetime) #convert to datetime dtype
temp.set_index('datetime', inplace=True) #make it the index
temp.index = temp.index.round('S') #and now round to the second
现在，临时数据框如下所示：
temperature
datetime
2017-06-13 22:20:11 82.4
2017-06-13 22:19:54 82.4
2017-06-13 22:19:37 82.4
2017-06-13 22:19:19 82.4
对湿润的df做同样的事情：
humid.datetime = pd.to_datetime(humid.datetime)
humi.set_index('datetime', inplace=True)
humid.index = humid.index.round('S')
现在潮湿了：
humidity
datetime
2017-06-13 22:07:31 63.0
2017-06-13 22:07:13 63.0
2017-06-13 22:06:56 63.0
2017-06-13 22:06:39 63.0
Reindex temp，根据需要更换日期：
temp = temp.reindex(pd.DatetimeIndex(start='2017-06-13 22:00', end='2017-06-13 22:20', freq='S'))
temp.head()
temperature
2017-06-13 22:00:00 NaN
2017-06-13 22:00:01 NaN
2017-06-13 22:00:02 NaN
2017-06-13 22:00:03 NaN
2017-06-13 22:00:04 NaN
现在离开加入：
out = pd.merge(temp, humid, left_index=True, right_index=True, how='left')
out.head():
temperature humidity
2017-06-13 22:00:00 NaN NaN
2017-06-13 22:00:01 NaN NaN
2017-06-13 22:00:02 NaN NaN
2017-06-13 22:00:03 NaN NaN
2017-06-13 22:00:04 NaN NaN
确保这确实有效：
out.loc['2017-06-13 22:07:31']
temperature humidity
2017-06-13 22:07:31 NaN 63.0
万岁！
答案 1 :(得分：0)
我相信你的问题的解决方案是使用pd.join（）。
for index, row in df_joined.iterrows():
df_master.loc[index,'humidity'] = row['humidity']
df_master.loc[index,'temperature'] = row['temperature']
在连接之后，通过循环连接的数据帧并使用索引来确定每一行来填充主数据帧：
{{1}}
我没有输出，因为我没有构建主数据帧，但它应该可以工作