pandas dataframe - 如果是新索引，则添加新行，如果存在，则使用列数据补充索引

Question

我有一个包含170个数据帧的数组，每个包含：

      gender - year
name   M/F    count

例如：

          Gender   2015
William     M      12321
George      M      19000
....       ...      ....

阵列中的每个数据帧都是不同年份。我想要做的是将所有数据帧组合到一个数据帧。随着年份的不同，一些名称出现而其他名称消失，因此并非所有数据帧都具有相同的结构（不同的行数）。

tldr我想要的（来源：https://pandas.pydata.org/pandas-docs/stable/merging.html）：

但是使用这种方法我得到错误：

ValueError: Shape of passed values is (274, 96313), indices imply (274, 96174)

这是因为我的数据帧（与示例不同）具有不同的行数（我认为）。

这是我的完整代码：

from zipfile import ZipFile

import pandas as pd
zip_file = ZipFile('names.zip')


df = pd.DataFrame()
dfs = []
with zip_file as f:
    for name in f.namelist():

            df1 = pd.read_csv(zip_file.open(name), sep=',',names=['Gender',name])  #Name = year
            df.append(df1)
            print(newDf)
            dfs.append(df1)

result = pd.concat(dfs,axis=1)
print(result.head())

我已经尝试了追加，合并和连接，但它们似乎都没有做我正在寻找的东西。我发现这个错误的解决方案并不直接适用于我的情况，因为我正在处理大量的数据帧，而且我无法让它们使用我的代码。

Answer 1

存在问题，索引中的某些值是重复的，因为某些名称应为male，female也应为Abbie。

因此解决方案非常简单 - 只在names的{​​{1}}中添加一个值，第二列的第一个值转换为read_csv。

还使用拼接更改了列名称 - 删除了前3个和后4个字符。

unique MultiIndex

from zipfile import ZipFile
zip_file = ZipFile('names1.zip')

dfs = []
with zip_file as f:
    for name in f.namelist():
        df1 = pd.read_csv(zip_file.open(name), sep=',',names=[name[3:-4]])
        dfs.append(df1)

result = pd.concat(dfs,axis=1)