所以我有一个这样的数据框:
Date; AK; AL ........
12/31/1976; 128,661; 954,940
3/31/1977; 128,341; 963,555
.........
数据帧形状为(156,56)
这是美国53个地区的滚动平均季度数,我需要复制数据框的每一行(从季度到每月)。
所以它应该是这样的:
12/31/1976 ; 128,661 ; 954,940 ......
1/31/1976 ; 128,661 ; 954,940
2/31/1976 ; 128,661 ; 954,940
3/31/1977 ; 128,341 ; 963,555
4/31/1977 ; 128,341 ; 963,555
5/31/1977 ; 128,341 ; 963,555
...............
所以结束数据框将是(156 * 3,56)=(468,56)。
这是我解决问题的可耻的业余方式:
result=[]
for d in range(dfc.shape[0]):
a=dfc.loc[[d]]
result.append(a)
for i in range(2):
result.append(a)
result2 = pd.concat(result)
result2.to_csv(outputfile)
现在我在结果中列出了474个数据帧,并成功将它们加入到result2中。但有更多的pythonic方式吗?
非常感谢你的时间。
来自输入csv的样本数据
日期AK AL AR AZ CA CO CT DC DE FL GA HI IA ID IL IN KS KY LA MA MD ME MI MN MO MS MT NC ND NE NE NH NJ NM NV NY OH OK或PA PR RI SC SD TN TX US UT VA VI VT WA WI WV WY US
1976年12月31日128661 954940 553053 621466 7130131 808768 1194789 350566 213905 2615803 1462638 326404 848553 234033 3803577 1683495 651434 879378 1101983 1942755 1133973 299863 2999407 1425506 1472189 563727 219449 1736735 158068 454897 272603 2247374 284290 233236 5677756 3768974 757678 803867 3796384 456596 326356 836472 166527 1279266 3905285 68009341 362019 1449598 - 136259 1052788 1626165 481509 118196 136018680
1977年3月31日128341 963555 559382 632022 7210477 818252 1203495 349061 212093 2637798 1478518 329504 859381 237540 3829280 1700039 657837 886421 1110438 1950984 1140207 302194 3033862 1444873 1482550 569446 221903 1751718 159539 460068 276727 2254050 288767 239391 5685289 3785281 765835 816312 3807158 457408 329745 842357 168075 1289540 3953044 68563641 367915 1462887 - 137377 1069036 1640823 485301 120550 137127279
1977年6月30日126396 977083 567917 643876 7305609 829959 1215449 349629 212099 2672554 1495769 332130 869226 241135 3858154 1721593 665523 898318 1122502 1964295 1154737 304645 3069330 1463964 1497019 576081 223573 1772303 161208 464668 278415 2271529 293668 245175 5707264 3815464 774473 829472 3826951 455636 332956 850164 169482 1305168 4003226 69279773 373785 1479718 7696 138750 1087648 1660930 492362 123099 138559545
答案 0 :(得分:2)
我认为您可以将resample
与Resampler.ffill
一起使用。但是最后一个值存在问题 - 需要手动添加最后一行,日期时间转移到2
个月,并且所有值与原始DataFrame
的最后一行相同
#convert column to datetime
df.Date = pd.to_datetime(df.Date)
#duplicated last row to another row with same values
df.loc[df.index[-1] + 1] = df.iloc[-1]
#shifted 2 months in column 'Date'
df.loc[df.index[-1], 'Date'] = df.loc[df.index[-1], 'Date'] + pd.offsets.DateOffset(months=2)
print (df)
Date AK AL
0 1976-12-31 128,661 954,940
1 1977-03-31 128,341 963,555
2 1977-05-31 128,341 963,555
df = df.set_index('Date').resample('M').ffill()
print (df)
AK AL
Date
1976-12-31 128,661 954,940
1977-01-31 128,661 954,940
1977-02-28 128,661 954,940
1977-03-31 128,341 963,555
1977-04-30 128,341 963,555
1977-05-31 128,341 963,555
如果使用旧版本的pandas需要参数fill_method='ffill'
instaed .ffill()
- see changed API in 0.18.0:
df = pd.read_csv('quarter to month.csv', thousands=',')
print (df)
Date AK AL AR AZ CA CO \
0 12/31/1976 128661 954940 553053 621466 7130131 808768
1 3/31/1977 128341 963555 559382 632022 7210477 818252
2 6/30/1977 126396 977083 567917 643876 7305609 829959
3 9/30/1977 121677 992007 576480 657475 7403502 844079
...
...
df.Date = pd.to_datetime(df.Date)
df.loc[df.index[-1] + 1] = df.iloc[-1]
#shifted 2 months in column 'Date'
df.loc[df.index[-1],'Date']=df.loc[df.index[-1],'Date'] + pd.offsets.DateOffset(months=2)
df = df.set_index('Date').resample('M', fill_method='ffill')
print (df)
AK AL AR AZ CA CO CT \
Date
1976-12-31 128661 954940 553053 621466 7130131 808768 1194789
1977-01-31 128661 954940 553053 621466 7130131 808768 1194789
1977-02-28 128661 954940 553053 621466 7130131 808768 1194789
1977-03-31 128341 963555 559382 632022 7210477 818252 1203495
1977-04-30 128341 963555 559382 632022 7210477 818252 1203495
1977-05-31 128341 963555 559382 632022 7210477 818252 1203495
1977-06-30 126396 977083 567917 643876 7305609 829959 1215449
1977-07-31 126396 977083 567917 643876 7305609 829959 1215449
1977-08-31 126396 977083 567917 643876 7305609 829959 1215449
1977-09-30 121677 992007 576480 657475 7403502 844079 1227102
1977-10-31 121677 992007 576480 657475 7403502 844079 1227102
1977-11-30 121677 992007 576480 657475 7403502 844079 1227102
1977-12-31 120632 1005809 585722 672041 7543093 863180 1242052
...
...
说明:
Resample
省略最后2行,因此您需要手动将其添加到DataFrame
以获得所需的输出。首先通过df.index[-1]
找到最后一个索引值(索引是单调的(0,1,2,3 ..),并且只有整数)。然后添加1
并获取另一行的索引 - 例如如果最后一个索引是50
,则另一行索引是51
。
然后按loc展开Dataframe
并添加相同的值作为最后一行 - 我使用iloc
选择最后一行。
然后需要更改最后一行Date
列的值。因此,请df.loc[df.index[-1], 'Date']
选择它,然后按offset(IN [87]
)添加两个月。然后,您可以使用resample
并获取许多新行,在最后一行中获取旧原始最后一行与新原始应用dateoffset
之间的新行。