Question

我有一个包含~2000个子目录的目录，每个子目录中有2-10个txt文件。我想打开每个子目录并将内容合并或连接成一个文件，因此我将有2000个目录，每个目录有1个txt文件。我试图使用unix命令执行此操作，但我似乎无法在特定的子目录中执行命令，然后更改目录并再次执行该功能。

find . -maxdepth 1 -name "*.faa" -exec cat {}

有没有办法把它变成一个bash脚本并让它在整个目录上运行，或者我应该寻找更像python的东西来尝试完成这个任务。

谢谢，如果有人问我，我道歉。

Answer 1

这应该可以满足您的需求，并且可以根据您的需求进行定制：

import os

OLD_BASE = '/tmp/so/merge/old'
NEW_BASE = '/tmp/so/merge/new'
NEW_NAME = 'merged.txt'

def merge_files(infiles, outfile):
    with open(outfile, 'wb') as fo:
        for infile in infiles:
            with open(infile, 'rb') as fi:
                fo.write(fi.read())


for (dirpath, dirnames, filenames) in os.walk(OLD_BASE):
    base, tail = os.path.split(dirpath)
    if base != OLD_BASE: continue  # Don't operate on OLD_BASE, only children directories

    # Build infiles list
    infiles = sorted([os.path.join(dirpath, filename) for filename in filenames])

    # Create output directory
    new_dir =  os.path.join(NEW_BASE, tail)
    os.mkdir(new_dir)  # This will raise an OSError if the directory already exists

    # Build outfile name
    outfile = os.path.join(new_dir, NEW_NAME)

    # Merge
    merge_files(infiles, outfile)

最终结果是，对于OLD_BASE中的每个目录，在NEW_BASE中创建了同名目录。在每个NEW_BASE子目录中，创建一个名为merged.txt的文件，其中包含相应OLD_BASE子目录中文件的连接内容。

所以

<OLD_BASE>
    DIR_1
        FILE_1
        FILE_2
    DIR_2
        FILE_3
        FILE_4
        FILE_5
    DIR_3
        FILE_6

变为

<NEW_BASE>
    DIR_1
        <NEW_NAME> (=FILE_1 + FILE_2)
    DIR_2
        <NEW_NAME> (=FILE_3 + FILE_4 + FILE_5)
    DIR_3
        <NEW_NAME> (=FILE_6)

我知道你说合并文件的顺序并不重要，但是这会按照字母顺序按字母顺序合并（区分大小写），以备将来的观众感兴趣。如果你真的没有，你可以删除sorted()包装功能。

Answer 2

如果我理解正确，可以这样做：

find -maxdepth 1 -type d -exec sh -c 'cd "$0" && cat *.faa > bigfile' {} \;

它查找当前目录中的所有子目录（非递归），cd，并将所有*.faa文件连接到名为bigfile的文件中（在子目录中）。

如何合并子目录中的文件并在多个子目录上执行此功能

2 个答案: