使用熊猫从csv文件列表中提取一些列

时间:2019-12-06 14:07:25

标签: python pandas

我的文件夹包含超过10,000个csv文件。每个csv文件具有相同的标头,每个标头包含22列。我只想从每个csv中提取一些列,并将其保存在不同的文件名或每个csv文件的不同文件夹中,以将它们全部合并在一起。 我能够读取每个csv文件和必填列,但是却迷失了将每个文件保存在不同文件名或不同文件夹中的方式。

这是我的初始代码

 import glob
 import pandas as pd
 # get data file names
 path =r'H:\test'
 filenames = glob.glob(path + "/*.csv")

dfs = []
for filename in filenames:
dfs.append(pd.read_csv(filename,usecols = ['Col1','Col2']))
big_frame = pd.concat(dfs, ignore_index=True)
big_frame.to_csv(filename , index=False)

最好的方法是什么?感谢您的帮助。

0 个答案:

没有答案