日期范围内的DataFrame选择返回无行

时间:2019-01-03 17:16:36

标签: python pandas dataframe

我正在遵循关于SO的通常推荐的过程,将DataFrame合并为仅计划用于分析的样本选择,但是在使用pd.date_range和日期之间选择的过程中,数据丢失,列标题是唯一存在的数据。

这是我的变量:

custom_date_start = '2018-01-01'

custom_date_end= '2018-10-31'

sheet_date = 'date'

df_clean # raw data table

表简要说明:

display(df_clean.head(3))
display(df_clean.tail(3))

# output

date    b_clicks    b_leads b_sals
2   1/1/2018    72  6   5
3   1/2/2018    232 9   7
4   1/3/2018    255 23  17
date    b_clicks    b_leads b_sals
729 12/29/2019          
730 12/30/2019          
731 12/31/2019      

样品选择:

date_range = pd.date_range(custom_date_start, custom_date_end)

print(date_range)

display(df_clean.head(1))
display(df_clean.tail(1))

df_clean_test = df_clean[(df_clean[sheet_date] > custom_date_start) & (df_clean[sheet_date] <= custom_date_end)]

display(df_clean_test.head(1))
display(df_clean_test.tail(1))

# output

DatetimeIndex(['2018-01-01', '2018-01-02', '2018-01-03', '2018-01-04',
               '2018-01-05', '2018-01-06', '2018-01-07', '2018-01-08',
               '2018-01-09', '2018-01-10',
               ...
               '2018-10-22', '2018-10-23', '2018-10-24', '2018-10-25',
               '2018-10-26', '2018-10-27', '2018-10-28', '2018-10-29',
               '2018-10-30', '2018-10-31'],
              dtype='datetime64[ns]', length=304, freq='D')
date    b_clicks    b_leads b_sals # df_clean
2   1/1/2018    72  6   5
date    b_clicks    b_leads b_sals # df_clean
731 12/31/2019          
date    b_clicks    b_leads b_sals # df_clean_test
date    b_clicks    b_leads b_sals # df_clean_test

1 个答案:

答案 0 :(得分:1)

您的逻辑是正确的,但问题在于比较。

考虑此示例,

df1 = pd.DataFrame({'Date': {0: '26/1/2016 ', 1: '27/1/2016 '}})
df1

输出:

      Date
0   26/1/2016
1   27/1/2016

其他数据框,

date_range = pd.date_range('2016-01-26', '2016-01-27')
df2 = pd.DataFrame({'Date': date_range})
df2

输出:

    Date
0   2016-01-26
1   2016-01-27

让我们比较不同格式的日期

print(df2['Date'] == df1['Date'])

输出:

0    False
1    False
Name: Date, dtype: bool

现在,更正df1的Date格式,

df1['Date'] = pd.to_datetime(df1['Date'])
df1

输出:

       Date
0   2016-01-26
1   2016-01-27

让我们再次比较两个数据框的日期,

print(df1['Date'] == df2['Date'])

输出:

0    True
1    True
Name: Date, dtype: bool

在您的示例中,date中的df_clean格式不正确,因此,相比之下,所有值均为false且不返回任何行。