Question

尝试将文件加载到python中。这是一个非常大的文件（1.5Gb），但我有可用的内存，我只想这样做一次（因此使用python，我只需要对文件进行一次排序，因此python是一个简单的选择）。

我的问题是加载此文件会导致方式占用大量内存。当我将大约10％的行加载到内存中时，Python已经使用了700Mb，这显然太多了。脚本挂起大约50％，使用3.03 Gb的实内存（并缓慢上升）。

我知道这不是排序文件最有效的方法（内存方式），但我只是想让它工作，所以我可以继续处理更重要的问题：D所以，下面的python代码有什么问题这导致大量内存使用：

print 'Loading file into memory'
input_file = open(input_file_name, 'r')
input_file.readline() # Toss out the header
lines = []
totalLines = 31164015.0
currentLine = 0.0
printEvery100000 = 0
for line in input_file:
    currentLine += 1.0
    lined = line.split('\t')
    printEvery100000 += 1
    if printEvery100000 == 100000:
        print str(currentLine / totalLines)
        printEvery100000 = 0;
    lines.append( (lined[timestamp_pos].strip(), lined[personID_pos].strip(), lined[x_pos].strip(), lined[y_pos].strip()) )
input_file.close()
print 'Done loading file into memory'

编辑：如果有人不确定，普遍的共识似乎是每个分配的变量会占用越来越多的内存。我在这种情况下“修复”了1）调用readLines（），它仍然加载所有数据，但每行只有一个'string'变量开销。这使用大约1.7Gb加载整个文件。然后，当我调用lines.sort（）时，我将一个函数传递给key，该函数在选项卡上分割并返回正确的列值，转换为int。这在计算上是缓慢的，并且总体上是内存密集型的，但它可以工作。今天学到了很多关于变量分配的看法：D

Answer 1

这是对所需内存的粗略估计，基于从您的示例派生的常量。至少，你必须为每个分割线计算Python内部对象开销，加上每个字符串的开销。

估计9.1 GB将文件存储在内存中，假设以下常量稍微偏离，因为您只使用了每行的一部分：

1.5 GB文件大小
31,164,015总计
每行分为4个

代码：

import sys
def sizeof(lst):
    return sys.getsizeof(lst) + sum(sys.getsizeof(v) for v in lst)

GIG = 1024**3
file_size = 1.5 * GIG
lines = 31164015
num_cols = 4
avg_line_len = int(file_size / float(lines))

val = 'a' * (avg_line_len / num_cols)
lst = [val] * num_cols

line_size = sizeof(lst)
print 'avg line size: %d bytes' % line_size
print 'approx. memory needed: %.1f GB' % ((line_size * lines) / float(GIG))

返回：

avg line size: 312 bytes
approx. memory needed: 9.1 GB

Answer 2

我不知道有关内存使用情况的分析，但您可以尝试使其在不耗尽内存的情况下运行。您将进入一个新的文件，使用内存映射进行访问（我已经相信这将有效[在内存方面]）。 Mmap有一些特定于操作系统的工作，我在Linux上进行了测试（非常小规模）。

这是基本代码，为了让它以相当高的时间效率运行，您可能希望对已排序的文件进行二进制搜索以找到插入行的位置，否则可能需要很长时间。

您可以在this question中找到寻求文件的二进制搜索算法。

希望逐行排序大量文件的内存有效方法：

import os
from mmap import mmap

input_file = open('unsorted.txt', 'r')
output_file = open('sorted.txt', 'w+')

# need to provide something in order to be able to mmap the file
# so we'll just copy the first line over
output_file.write(input_file.readline())
output_file.flush()
mm = mmap(output_file.fileno(), os.stat(output_file.name).st_size)
cur_size = mm.size()

for line in input_file:
  mm.seek(0)
  tup = line.split("\t")
  while True:
    cur_loc = mm.tell()
    o_line = mm.readline()
    o_tup = o_line.split("\t")
    if o_line == '' or tup[0] < o_tup[0]: # EOF or we found our spot
      mm.resize(cur_size + len(line))
      mm[cur_loc+len(line):] = mm[cur_loc:cur_size]
      mm[cur_loc:cur_loc+len(line)] = line
      cur_size += len(line)
      break

为什么加载这个文件占用这么多内存？

2 个答案: