串联数据框会创建太多列

Question

我正在使用循环读取大量的csv文件，它们都有38列。我将它们全部添加到列表中，然后连接/创建一个数据框。我的问题是，尽管所有这些csv文件都有38列，但我得到的数据帧最终还是以105列结尾。

以下是屏幕截图：

如何使生成的数据框具有正确的38列，并将所有行彼此堆叠？

import boto3
import pandas as pd
import io

s3 = boto3.resource('s3')
client = boto3.client('s3')
bucket = s3.Bucket('alpha-enforcement-data-engineering')

appended_data = []

for obj in bucket.objects.filter(Prefix='closed/closed_processed/year_201'):
    print(obj.key)
    df = pd.read_csv(f's3://alpha-enforcement-data-engineering/{obj.key}', low_memory=False)
    print(df.shape)
    appended_data.append(df)

df_closed = pd.concat(appended_data, axis=0, sort=False)


print(df_closed.shape)

Answer 1

TLDR ；检查您的列标题。

c = appended_data[0].columns

df_closed = pd.concat([df.set_axis(
    c, axis=1, inplace=False) for df in appended_data], sort=False)

---

发生这种情况是因为您的列标题不同。垂直连接时，Pandas会将您的DataFrames对齐到标题上，并为不存在该标题的DataFrames插入空列。这是一个说明性示例：

df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
df2 = pd.DataFrame({'C': [7, 8, 9], 'D': [10, 11, 12]})
df
   A  B
0  1  4
1  2  5
2  3  6

df2
   C   D
0  7  10
1  8  11
2  9  12

pd.concat([df, df2], axis=0, sort=False)

     A    B    C     D
0  1.0  4.0  NaN   NaN
1  2.0  5.0  NaN   NaN
2  3.0  6.0  NaN   NaN
0  NaN  NaN  7.0  10.0
1  NaN  NaN  8.0  11.0
2  NaN  NaN  9.0  12.0

创建4列。而您只需要两个。试试

df2.columns = df.columns
pd.concat([df, df2], axis=0, sort=False)

   A   B
0  1   4
1  2   5
2  3   6
0  7  10
1  8  11
2  9  12

按预期工作。