我有一个大的CSV文件,我想将其拆分为一个等于系统中CPU核心数的数字。我想然后使用多进程让所有核心一起处理文件。但是,我甚至无法将文件拆分成部分。我已经遍布谷歌了,我找到了一些看似符合我想要的示例代码。以下是我到目前为止的情况:
def split(infilename, num_cpus=multiprocessing.cpu_count()):
READ_BUFFER = 2**13
total_file_size = os.path.getsize(infilename)
print total_file_size
files = list()
with open(infilename, 'rb') as infile:
for i in xrange(num_cpus):
files.append(tempfile.TemporaryFile())
this_file_size = 0
while this_file_size < 1.0 * total_file_size / num_cpus:
files[-1].write(infile.read(READ_BUFFER))
this_file_size += READ_BUFFER
files[-1].write(infile.readline()) # get the possible remainder
files[-1].seek(0, 0)
return files
files = split("sample_simple.csv")
print len(files)
for ifile in files:
reader = csv.reader(ifile)
for row in reader:
print row
两个打印件显示正确的文件大小,并分成4个部分(我的系统有4个CPU内核)。
但是,打印每个部分中所有行的代码的最后一部分会出现错误:
for row in reader:
_csv.Error: line contains NULL byte
我尝试在不运行split函数的情况下打印行,并正确打印所有值。我怀疑split函数在生成的4个文件中添加了一些NULL字节,但我不确定原因。
有谁知道这是一个正确而快速的方法来拆分文件?我只想要csv.reader可以成功读取的结果片段。
答案 0 :(得分:5)
正如我在评论中所说,csv文件需要在行(或行)边界上拆分。你的代码没有这样做,可能会在一个中间的地方将它们分解 - 我怀疑这是_csv.Error
的原因。
以下通过将输入文件作为一系列行处理来避免这样做。我已经对它进行了测试,它似乎独立工作,因为它将示例文件分成大约同样大小的块,因为它不太可能完全适合一个块。< / p>
<强>更新强>
这是一个基本上更快的代码版本,比我最初发布的更快。改进是因为它现在使用临时文件自己的tell()
方法来确定文件的不断变化的长度,而不是调用os.path.getsize()
,从而消除了对flush()
的需求。文件并在每行写完后调用os.fsync()
。
import csv
import multiprocessing
import os
import tempfile
def split(infilename, num_chunks=multiprocessing.cpu_count()):
READ_BUFFER = 2**13
in_file_size = os.path.getsize(infilename)
print 'in_file_size:', in_file_size
chunk_size = in_file_size // num_chunks
print 'target chunk_size:', chunk_size
files = []
with open(infilename, 'rb', READ_BUFFER) as infile:
for _ in xrange(num_chunks):
temp_file = tempfile.TemporaryFile()
while temp_file.tell() < chunk_size:
try:
temp_file.write(infile.next())
except StopIteration: # end of infile
break
temp_file.seek(0) # rewind
files.append(temp_file)
return files
files = split("sample_simple.csv", num_chunks=4)
print 'number of files created: {}'.format(len(files))
for i, ifile in enumerate(files, start=1):
print 'size of temp file {}: {}'.format(i, os.path.getsize(ifile.name))
print 'contents of file {}:'.format(i)
reader = csv.reader(ifile)
for row in reader:
print row
print ''