Question

在没有内存耗尽的情况下，最简单的方法是什么？

我有一个9GB的文件，有1亿行（每个都是一个URL）。

如何将其拆分为X档？我试过for f in fileinput.input('...')，但由于某种原因它被“杀死”。

Answer 1

from __future__ import with_statement

YOUR_FILENAME= 'bigfile.log'
SPLIT_NAME= 'bigfile.part%05d.log'
SPLIT_SIZE= 10000 # lines
SPLITTER= lambda t: t[0]//SPLIT_SIZE

import itertools as it

with open(YOUR_FILENAME, "r") as input_file:
    for part_no, lines in it.groupby(enumerate(input_file), SPLITTER):
        with open(SPLIT_NAME % part_no, "w") as out:
             out.writelines(item[1] for item in lines)

将正确的文件名存储为YOUR_FILENAME。确定每个部分将有多少行（SPLIT_SIZE）。确定输出名称（SPLIT_NAME）。运行。显然，您不仅限于YOUR_FILENAME和SPLIT_NAME中的纯文件名;你可以使用路径。

Answer 2

处理千兆字节文件时，包含数百万个条目的数组;尽量不要使用脚本语言。如果你可以运行一个C ++代码，那将很容易，没有任何问题。

如何将一个巨大的文件拆分成多个文件？

2 个答案: