Question

我有多个文件，我需要从每个数据框中选择一个特定的列并最终合并它们。这是我的数据框示例，

>> df1.head()

ID     df1    fox    mnd
ADF   49.0   34.0   55.7
XCF   89.7   32.8   21.7

第二和第三数据帧是

>> df2.head()

ID    lat2     df2     sap
ADF  67.00   84.00   95.70
XCF  59.70   62.80   11.70
BHG  89.00   54.89    0.34

>> df3.head()

ID     df1     df2     df3
ADF  56.00   84.00   95.70
XCF  59.70   62.80   11.70
CXD  89.90    0.90    1.56

以此类推，我有37个具有不同尺寸的数据框。我正在寻找的是：

首先，我只需要选择与文件名相同的列。例如，在df1中，我只需要列df1。
最后，将它们全部串联在一起作为一个数据帧。

这里的问题是：对于某些数据框，我的列名带有路径中的所有文件名，但是对于一些数据框，我只具有带有文件名的列名，而其他列则具有其他名。所以我接下来的代码是从每个数据帧中选择所有列。这不是我想要的。

path = 'usr/fils/data'
all_files = [os.path.join(path, i) for i in os.listdir(path) if i.endswith('tsv')]
filenames = [os.path.basename(os.path.normpath(files)) for files in all_files]
main = []

for files in all_files:
    for samids in filenames:
        dfs = pd.DataFrame.from_csv(files, sep="\t")
        dfs.reset_index(drop=False, inplace=True)
        if samids in dfs.columns:
            pc_matrix = dfs[[samids]]
            main.append(pc_matrix)
merged = pd.concat(main, axis=1)

例如，在这种情况下，merged数据帧由三个数据帧中的所有列组成。但是，这不是我想要的。

最后，我需要我的数据框应该看起来像

>> df_final

ID     df1     df2     df3
ADF  49.00   84.00   95.70
XCF  89.70   62.80   11.70
BHG     NA   89.00      NA
CXD     NA      NA    1.56

任何建议都将不胜感激。谢谢！

Answer 1

使用：

#https://www.dropbox.com/sh/mytlp1t6bro1yly/AAAofCoHrwZTtnn04NFYGSb1a?dl=0
all_files = glob.glob('path/*')
main = []
for files in all_files:
    c = os.path.basename(os.path.normpath(files))
    try:
        df = pd.read_csv(files, usecols=[c] + ['ID'], index_col=['ID'], sep='\t')
        #if possible duplicated ID column - use mean or sum for unique values
        #df = df.mean(level=0)
        #df = df.sum(level=0)
        print (df)
        main.append(df)
    except:
        pass


merged = pd.concat(main,axis=1, sort=True)
print (merged)
      df1    df2    df3
ADF  49.0  84.00  95.70
BHG   NaN  54.89    NaN
CXD   NaN    NaN   1.56
XCF  89.7  62.80  11.70

如果列名称与数据框名称相同，则从多个数据框中选择特定的列

1 个答案: