Question

我有一个文件夹，其中包含数百个（可能超过1 k）的csv数据文件，这些文件是按时间顺序排列的数据。理想情况下，这些数据将在一个csv中，以便我可以一次性分析它。我想知道的是，有没有办法使用python将所有文件相互附加。

我的文件存在于文件夹位置，如下所示：

C:\Users\folder\Database Files\1st September
C:\Users\folder\Database Files\1st October
C:\Users\folder\Database Files\1st November
C:\Users\folder\Database Files\1st December
etc

在每个文件夹中有3个csv（我使用术语csv松散，因为这些文件实际上保存为包含由管道|分隔的值的.txt文件）

让我们说这些文件被称为：

MonthNamOne.txt
MonthNamTwo.txt
MonthNameOneTwoMurged.txt

我怎么能，甚至可以编写一些东西来遍历这个目录中的所有这些文件夹，然后将所有OneTwoMurged.txt文件合并在一起？

Answer 1

对于.csv后缀

的文件夹中的所有文件

import glob
import os

filelist = []

os.chdir("folderwithcsvs/")
for counter, files in enumerate(glob.glob("*.csv")):
    filelist.append(files)
    print "do stuff with file:", files, counter

print filelist

for fileitem in filelist:
    print fileitem

显然＆＃34;做东西部分＆＃34;取决于你想要对文件做什么，这看起来是你的文件列表。

如果您想每月对文件执行某些操作，那么您可以使用日期时间并创建可能的月份，相同的日期或年度数据。

例如，对于名称为Month Year.csv的月度文件，它会查找每个文件。

import subprocess, datetime, os

start_year, start_month = "2001", "January"

current_month = datetime.date.today().replace(day=1)
possible_month = datetime.datetime.strptime('%s %s' % (start_month, start_year), '%B %Y').date()
while possible_month <= current_month:
    csv_filename = possible_month.strftime('%B %Y') + '.csv'
    month = possible_month.strftime('%B %Y').split(" ")[0]
    year = possible_month.strftime('%B %Y').split(" ")[1]
    if os.path.exists("folder/" + csv_filename):
        print csv_filename
    possible_month = (possible_month + datetime.timedelta(days=31)).replace(day=1)

显然你可以根据自己的需要改变它，如果你需要更多或者这个就足够了，请告诉我。

Answer 2

这将递归处理目录，匹配特定文件模式以进行处理，并附加已处理文件的结果。这也将解析csvs，因此您也可以进行单独的行分析和处理。根据需要修改：）

#!python2
import os
import fnmatch
import csv
from datetime import datetime as dt

# Open result file
with open('output.txt','wb') as fout:
    wout = csv.writer(fout,delimiter='|')

    # Recursively process a directory
    for path,dirs,files in os.walk('files'):

        # Sort directories for processing.
        # In this case, sorting directories named "Month Year" chronologically.
        dirs.sort(key=lambda d: dt.strptime(d,'%B %Y'))
        interesting_files = fnmatch.filter(files,'*.txt')

        # Example for sorting filenames with a custom chronological sort "Month Year.txt"
        for filename in sorted(interesting_files,key=lambda f: dt.strptime(f,'%B %Y.txt')):

            # Generate the full path to the file.
            fullname = os.path.join(path,filename)
            print 'Processing',fullname

            # Open and process file
            with open(fullname,'rb') as fin:
                for line in csv.reader(fin,delimiter='|'):
                    wout.writerow(line)

Answer 3

读入pandas数据帧（轴的选择取决于你的应用程序），我的例子添加了相同长度的列

import glob
import pandas as pd


df=pd.DataFrame()
for files in glob.glob("*.csv"):
    print files 
    df = pd.concat([df,pd.read_csv(files).iloc[:,1:]],axis=1)

axis = 0会添加行

从一个目录加载所有csv / txt文件并通过python合并它们

3 个答案: