通过仅使彼此分开的行过滤数据框

时间:2018-12-05 21:50:23

标签: python pandas dataframe time-series pandas-groupby

Date    Latitude    Longitude   Disaster
2011-01-10  56.79   89.90   Cyclone
2011-02-09  45.01   79.24   Cyclone
2010-11-20  34.08   69.92   Cyclone
2010-12-19  66.78   125.35  Cyclone
2017-09-10  56.99   98.22   Cyclone

我有一个数据框,需要对其进行过滤,以使其包含有关在一个月时间内重复发生气旋活动的位置的数据
我使用合并操作来查找在同一位置发生的气旋对-

merged_df = df.merge(df, on= ["Longitude","Latitude"], how ="inner")

我能够使用

在一个特定日期(例如:2002-01-01)的一个月内找到数据。

df[dt['Date'] >= date(2002,1,1) & df['Date'] < date(2002,1,1) + relativedelta(months=1)].count()

但是无法弄清楚我应该如何将其应用于整个数据框,以便为我提供有关在一个月的时间内重复发生气旋活动的信息。有人可以帮助我实现这一目标吗?

1 个答案:

答案 0 :(得分:1)

如果您有存储空间,请merge自己存储,然后在合并后仅过滤1个月内发生的旋风。使用pd.offsets.DateOffset获得与relativedelta

相同的逻辑
import pandas as pd

df['Date'] = pd.to_datetime(df.Date)
df = df[df.Disaster=='Cyclone'].reset_index()  # Need index to deduplicate later

merged = df.merge(df, on='Disaster', suffixes=['_1', '_2'])

mask = ((merged.index_1 > merged.index_2)  # Remove self merges and AB-BA duplicates
        & merged.Date_1.between(merged.Date_2 - pd.offsets.DateOffset(months=1), 
                                merged.Date_2 + pd.offsets.DateOffset(months=1)))

merged = merged[mask].drop(columns=['index_1', 'index_2'])

输出:merged

       Date_1  Latitude_1  Longitude_1 Disaster     Date_2  Latitude_2  Longitude_2
5  2011-02-09       45.01        79.24  Cyclone 2011-01-10       56.79        89.90
15 2010-12-19       66.78       125.35  Cyclone 2011-01-10       56.79        89.90
17 2010-12-19       66.78       125.35  Cyclone 2010-11-20       34.08        69.92

如果您真的只需要原始DataFrame中的行并且配对是无用的,则不要丢弃['index_1', 'index_2']并使用唯一值对原始DataFrame进行子集化,或使用{{1 }} pd.wide_to_longmerged上将其格式化为原始外观。