Question

我正在使用python + pandas处理csv文件。

csv文件具有多个标头，例如

       Header1                     Header2
Date   Subheader1-1 Subheader1-2   Subheader2-1 Subheader2-2

以原始文本格式，csv文件内容看起来像

,Header1,,Header2,,...
Date,Subheader1-1,Subheader1-2,Subheader2-1,Subheader2-2,...
...

我的问题是，

熊猫是否支持这种子标题格式？如果没有，是否有办法将此csv读入pandas数据帧并对其进行一些计算？

（计算就像提取Header1的Subheader1-2列，计算平均值和STD，然后使用matplotlib绘制所有内容。）

Answer 1

使用参数header=[0,1]，但是接下来需要进行处理-将Unnamed列替换为NaN，然后进行正向填充：

import pandas as pd

temp=u''',Header1,,Header2,
Date,Subheader1-1,Subheader1-2,Subheader2-1,Subheader2-2
2018-01-02,10,2,5,6'''
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), header=[0,1])
print (df) 
  Unnamed: 0_level_0      Header1 Unnamed: 2_level_0      Header2  \
                Date Subheader1-1       Subheader1-2 Subheader2-1   
0         2018-01-02           10                  2            5   

  Unnamed: 4_level_0  
        Subheader2-2  
0                  6 

a = df.columns.get_level_values(0).to_series()
b = a.mask(a.str.startswith('Unnamed')).ffill().fillna('')
df.columns = [b, df.columns.get_level_values(1)]
print (df)
                   Header1                   Header2             
         Date Subheader1-1 Subheader1-2 Subheader2-1 Subheader2-2
0  2018-01-02           10            2            5            6

另一个更好的解决方案是通过第一列创建索引：

import pandas as pd

temp=u''',Header1,,Header2,
Date,Subheader1-1,Subheader1-2,Subheader2-1,Subheader2-2
2018-01-02,10,2,5,6'''
#after testing replace 'pd.compat.StringIO(temp)' to 'filename.csv'
df = pd.read_csv(pd.compat.StringIO(temp), header=[0,1], index_col=[0])
print (df) 
                Header1 Unnamed: 2_level_0      Header2 Unnamed: 4_level_0
Date       Subheader1-1       Subheader1-2 Subheader2-1       Subheader2-2
2018-01-02           10                  2            5                  6

a = df.columns.get_level_values(0).to_series()
b = a.mask(a.str.startswith('Unnamed')).ffill().fillna('')
df.columns = [b, df.columns.get_level_values(1)]
print (df)
                Header1                   Header2             
Date       Subheader1-1 Subheader1-2 Subheader2-1 Subheader2-2
2018-01-02           10            2            5            6

熊猫如何读取子标题

1 个答案: