Question

以下是我在熊猫中要做的事情：

加载包含特定日期股票信息的CSV文件
在date
创建一个新的数据框，其中填充了最早和最晚之间的所有日期（NaN或类似“缺少”的所有列都可以）

目前它看起来像这样：

import pandas as pd
import dateutil

df = pd.read_csv("https://dl.dropboxusercontent.com/u/84641/temp/berkshire_new.csv")
df['date'] = df['date'].apply(dateutil.parser.parse)
new_date_range = pd.date_range(df['date'].min(), df['date'].max())
df = df.set_index('date')
df.reindex(new_date_range)

不幸的是，这引发了以下错误，我不太明白：

ValueError: Shape of passed values is (3, 4825), indices imply (3, 4384)

我已经尝试了十几种变体 - 没有任何运气。任何帮助将不胜感激。

修改

进一步调查后，看起来问题是由重复索引引起的。 CSV确实包含每个日期的几个条目，这可能会导致错误。

问题仍然是相关的：虽然每个日期都有重复的条目，但我如何填补其间的空白？

Answer 1

因此在考虑符号，日期，行动时你会有重复。

In [99]: df.head(10)
Out[99]: 
  symbol                date      change    action
0    FDC 2001-08-15 00:00:00   15.069360       new
1    GPS 2001-08-15 00:00:00   19.653780       new
2    HON 2001-08-15 00:00:00    8.604316       new
3    LIZ 2001-08-15 00:00:00    6.711568       new
4    NKE 2001-08-15 00:00:00   22.686257       new
5    ODP 2001-08-15 00:00:00    5.686902       new
6    OSI 2001-08-15 00:00:00    5.893340       new
7    USB 2001-08-15 00:00:00   15.694478       new
8    NEE 2001-11-15 00:00:00  100.000000       new
9    GPS 2001-11-15 00:00:00  142.522231  increase

创建新的日期索引

In [102]: idx = pd.date_range(df.date.min(),df.date.max())

In [103]: idx
Out[103]: 
<class 'pandas.tseries.index.DatetimeIndex'>
[2001-08-15 00:00:00, ..., 2013-08-15 00:00:00]
Length: 4384, Freq: D, Timezone: None

这将按符号和动作分组然后重新索引设置为完整日期（idx）选出剩余的唯一列（更改）现在索引是符号/日期

In [100]: df.groupby(['symbol','action']).apply(
              lambda x: x.set_index('date').reindex(idx)
                  )['change'].reset_index(level=1).head()

Out[100]: 
                     action  change
symbol                             
ADM    2001-08-15  decrease     NaN
       2001-08-16  decrease     NaN
       2001-08-17  decrease     NaN
       2001-08-18  decrease     NaN
       2001-08-19  decrease     NaN

In [101]: df.groupby(['symbol','action']).apply(lambda x: x.set_index('date').reindex(idx))['change'].reset_index(level=1)
Out[101]: 
<class 'pandas.core.frame.DataFrame'>
MultiIndex: 977632 entries, (ADM, 2001-08-15 00:00:00) to (svm, 2013-08-15 00:00:00)
Data columns (total 2 columns):
action    977632  non-null values
change    490  non-null values
dtypes: float64(1), object(1)

然后你可以填写或任何你需要的东西。仅供参考，不知道你将如何做到这一点，但这不是一种非常常见的操作类型，因为你主要是空数据。

Answer 2

我目前遇到类似的问题，我认为你不应该使用reindex，而应该使用asfreq或resample。

与他们一起，你不需要创建一个索引，你的意志。

填写缺少的时间序列天数（使用重复键）

2 个答案: