Python->数据框 - >扩展数据框架

时间:2016-11-01 19:46:24

标签: python pandas dataframe duplicates

所以我有一个这样的数据框:

Date;   AK; AL ........

12/31/1976;  128,661;    954,940 

3/31/1977;   128,341;    963,555

.........

数据帧形状为(156,56)

这是美国53个地区的滚动平均季度数,我需要复制数据框的每一行(从季度到每月)。

所以它应该是这样的:

12/31/1976  ; 128,661   ; 954,940 ......

1/31/1976    ;     128,661  ; 954,940 

2/31/1976   ; 128,661   ; 954,940  

3/31/1977   ; 128,341   ; 963,555 

4/31/1977   ; 128,341   ; 963,555 

5/31/1977   ; 128,341   ; 963,555

...............

所以结束数据框将是(156 * 3,56)=(468,56)。

这是我解决问题的可耻的业余方式:

result=[]

for d in range(dfc.shape[0]):
    a=dfc.loc[[d]]
    result.append(a)
    for i in range(2):
        result.append(a)

result2 = pd.concat(result)

result2.to_csv(outputfile)

现在我在结果中列出了474个数据帧,并成功将它们加入到result2中。但有更多的pythonic方式吗?

非常感谢你的时间。

来自输入csv的样本数据

  

日期AK AL AR AZ CA CO CT DC DE FL GA HI IA ID IL IN KS KY LA MA MD ME MI MN MO MS MT NC ND NE NE NH NJ NM NV NY OH OK或PA PR RI SC SD TN TX US UT VA VI VT WA WI WV WY US

     

1976年12月31日128661 954940 553053 621466 7130131 808768 1194789 350566 213905 2615803 1462638 326404 848553 234033 3803577 1683495 651434 879378 1101983 1942755 1133973 299863 2999407 1425506 1472189 563727 219449 1736735 158068 454897 272603 2247374 284290 233236 5677756 3768974 757678 803867 3796384 456596 326356 836472 166527 1279266 3905285 68009341 362019 1449598 - 136259 1052788 1626165 481509 118196 136018680

     

1977年3月31日128341 963555 559382 632022 7210477 818252 1203495 349061 212093 2637798 1478518 329504 859381 237540 3829280 1700039 657837 886421 1110438 1950984 1140207 302194 3033862 1444873 1482550 569446 221903 1751718 159539 460068 276727 2254050 288767 239391 5685289 3785281 765835 816312 3807158 457408 329745 842357 168075 1289540 3953044 68563641 367915 1462887 - 137377 1069036 1640823 485301 120550 137127279

     

1977年6月30日126396 977083 567917 643876 7305609 829959 1215449 349629 212099 2672554 1495769 332130 869226 241135 3858154 1721593 665523 898318 1122502 1964295 1154737 304645 3069330 1463964 1497019 576081 223573 1772303 161208 464668 278415 2271529 293668 245175 5707264 3815464 774473 829472 3826951 455636 332956 850164 169482 1305168 4003226 69279773 373785 1479718 7696 138750 1087648 1660930 492362 123099 138559545

1 个答案:

答案 0 :(得分:2)

我认为您可以将resampleResampler.ffill一起使用。但是最后一个值存在问题 - 需要手动添加最后一行,日期时间转移到2个月,并且所有值与原始DataFrame的最后一行相同

#convert column to datetime
df.Date = pd.to_datetime(df.Date)

#duplicated last row to another row with same values
df.loc[df.index[-1] + 1] = df.iloc[-1]
#shifted 2 months in column 'Date'
df.loc[df.index[-1], 'Date'] = df.loc[df.index[-1], 'Date'] + pd.offsets.DateOffset(months=2)
print (df)
        Date       AK       AL
0 1976-12-31  128,661  954,940
1 1977-03-31  128,341  963,555
2 1977-05-31  128,341  963,555

df = df.set_index('Date').resample('M').ffill()
print (df)
                 AK       AL
Date                        
1976-12-31  128,661  954,940
1977-01-31  128,661  954,940
1977-02-28  128,661  954,940
1977-03-31  128,341  963,555
1977-04-30  128,341  963,555
1977-05-31  128,341  963,555

如果使用旧版本的pandas需要参数fill_method='ffill' instaed .ffill() - see changed API in 0.18.0

df = pd.read_csv('quarter to month.csv', thousands=',')
print (df) 
           Date      AK       AL       AR       AZ        CA       CO  \
0    12/31/1976  128661   954940   553053   621466   7130131   808768   
1     3/31/1977  128341   963555   559382   632022   7210477   818252   
2     6/30/1977  126396   977083   567917   643876   7305609   829959   
3     9/30/1977  121677   992007   576480   657475   7403502   844079   
...
...  

df.Date = pd.to_datetime(df.Date)

df.loc[df.index[-1] + 1] = df.iloc[-1]
#shifted 2 months in column 'Date'
df.loc[df.index[-1],'Date']=df.loc[df.index[-1],'Date'] + pd.offsets.DateOffset(months=2)

df = df.set_index('Date').resample('M', fill_method='ffill')
print (df)
               AK       AL       AR       AZ        CA       CO       CT  \
Date                                                                        
1976-12-31  128661   954940   553053   621466   7130131   808768  1194789   
1977-01-31  128661   954940   553053   621466   7130131   808768  1194789   
1977-02-28  128661   954940   553053   621466   7130131   808768  1194789   
1977-03-31  128341   963555   559382   632022   7210477   818252  1203495   
1977-04-30  128341   963555   559382   632022   7210477   818252  1203495   
1977-05-31  128341   963555   559382   632022   7210477   818252  1203495   
1977-06-30  126396   977083   567917   643876   7305609   829959  1215449   
1977-07-31  126396   977083   567917   643876   7305609   829959  1215449   
1977-08-31  126396   977083   567917   643876   7305609   829959  1215449   
1977-09-30  121677   992007   576480   657475   7403502   844079  1227102   
1977-10-31  121677   992007   576480   657475   7403502   844079  1227102   
1977-11-30  121677   992007   576480   657475   7403502   844079  1227102   
1977-12-31  120632  1005809   585722   672041   7543093   863180  1242052   
...
...

说明:

Resample省略最后2行,因此您需要手动将其添加到DataFrame以获得所需的输出。首先通过df.index[-1]找到最后一个索引值(索引是单调的(0,1,2,3 ..),并且只有整数)。然后添加1并获取另一行的索引 - 例如如果最后一个索引是50,则另一行索引是51。 然后按loc展开Dataframe并添加相同的值作为最后一行 - 我使用iloc选择最后一行。 然后需要更改最后一行Date列的值。因此,请df.loc[df.index[-1], 'Date']选择它,然后按offsetIN [87])添加两个月。然后,您可以使用resample并获取许多新行,在最后一行中获取旧原始最后一行与新原始应用dateoffset之间的新行。