我正在使用像这样的Pandas解析一些HTML数据:
rankings = pd.read_html('https://en.wikipedia.org/wiki/Rankings_of_universities_in_the_United_Kingdom')
university_guide = rankings[0]
这给了我一个很好的数据框:
我想要的是重塑这个数据框,这样只有两列(排名和大学名称)。我目前的解决方案是做这样的事情:
ug_copy = rankings[0][1:]
npa1 = ug_copy.as_matrix( columns=[0,1] )
npa2 = ug_copy.as_matrix( columns=[2,3] )
npa3 = ug_copy.as_matrix( columns=[4,5] )
npam = np.append(npa1,npa2)
npam = np.append(npam,npa3)
reshaped = npam.reshape((npam.size/2,2))
pd.DataFrame(data=reshaped)
这给了我想要的东西,但它似乎不是最好的解决方案。我似乎找不到使用数据框完成所有这一切的好方法。我已经尝试过使用堆栈/取消堆栈并转动数据框(正如这里提出的其他一些解决方案所示),但我没有运气。我尝试过这样的事情:
ug_copy.columns=['Rank','University','Rank','University','Rank','University']
ug_copy = ug_copy[1:]
ug_copy.groupby(['Rank', 'University'])
我必须要有一些小的东西!
答案 0 :(得分:7)
这可能会稍微缩短一点(另请注意,您可以使用header
中的read_html
选项来节省一些工作量):
import pandas as pd
rankings = pd.read_html('https://en.wikipedia.org/wiki/Rankings_of_universities_in_the_United_Kingdom', header=0)
university_guide = rankings[0]
df = pd.DataFrame(university_guide.values.reshape((30, 2)), columns=['Rank', 'University'])
df = df.sort('Rank').reset_index(drop=True)
print df