Question

我想读取位于同一目录中的多个文件，然后将它们合并到一个pandas数据框中。

如果我这样做，它会起作用：

import pandas as pd

df1 = pd.read_csv("data/12015.csv")
df2 = pd.read_csv("data/22015.csv")
df3 = pd.read_csv("data/32015.csv")

df = pd.concat([df1, df2, df3])

但是，我想使用更优雅的解决方案，如果文件数量大于3，这将特别有用。

我尝试了这种方法，但是我不知道如何在for循环中应用concat。

import pandas as pd
import os
from os import path

files = [x for x in os.listdir("data") if path.isfile("data"+os.sep+x)]

for f in files:
    df = pd.read_csv("data/"+f)

Answer 1

您可以使用list comprehension创建要连接的DataFrame列表，然后在该列表上调用pd.concat()。示例 -

import pandas as pd
import os
from os import path
dfs = [pd.read_csv(path.join('data',x)) for x in os.listdir("data") if path.isfile(path.join("data",x))]
df = pd.concat(dfs)

你应该考虑使用os.path.join()，因为我已经习惯了创建路径，而不是自己连接字符串。

Answer 2

简单的列表理解就足够了：

dfs = pd.concat([pd.read_csv("data/" + f) for f in files])

更容错的方法如下：

df_list = []
bad_files = []
for f in files:
    try:
        df_list.append(pd.read_csv("data/" + f))
    except:
        bad_files.append(f)
dfs = pd.concat(df_list)

如何读取多个文件并将它们合并到一个pandas数据框中？

2 个答案: