从多个熊猫数据框中提取相似的日期

Question

我的500个数据帧看起来像这样，它是一个基于一天的数据，为期两年。

1. 日期| A栏| B列
2. 2017-04-04
3. 2017-04-05
4. 2017-04-06
5. 2017-04-07
6. ....
7. 2017-04-02
8. ...
9. 2019-02-01
10. 2019-02-11
11. 2019-02-22
12. 2019-02-27
13. 2019-03-01
14. 2019-04-01
15. 2019-05-01

所有数据帧具有相似的列数，但具有不同的行数。所有这些DataFrame都有一些相似的时间戳。我想从我所有的数据帧中获取通用时间戳。

目标是过滤出我所有500个数据帧中的通用时间戳，并创建仅包含通用时间戳的新500个数据帧的子集。

Answer 1

如果您一次可以将所有500个存储在内存中，那么将它们存储在字典中很有用。然后，您可以找到所有日期的交集，然后保存子集：

import pandas as pd
from functools import reduce

d = dict((file, pd.read_csv(file)) for file in [your_list_of_files])

date_com = reduce(lambda l,r: l & r [set(df.Date) for _,df in d.items()])

for file,df in d.items():
    df[df.Date.isin(date_com)].to_csv(f'adjusted_{file}')