Question

我已经看到了similar question，但我认为我的困境在很多方面有所不同，无法保证一个新的问题。

我创建了一个函数，它打开一个csv文件，并根据维度和指标列表将数据聚合成类似json的字典结构。

问题是当我使用它来打开一个0.97GB的文件时，当我查看我的进程时，python进程使用大约1.02GB的内存。请记住，我只选择文件中的一小部分字段，而数据是聚合，我认为它本质上应该更小。字典变量是唯一从函数返回的东西，所以不应该这意味着它是函数运行后内存中剩余的唯一东西吗？有谁知道为什么我的字典对象使用了这么多内存？

**编辑 - 另外我的理解是csv.reader（）是一个生成器，所以我甚至不能一次加载整个文件，所以它必须只是使用全部的字典对象记忆？

我在Windows上使用Python 2.7。

import json
import inspect
from pprint import pprint
import csv
from datetime import datetime
import sys


def jsonify_csv(fileString, dimensions, metrics, struc = {}):
    with open(fileString, 'rb') as f:
        reader=csv.reader(f)
        headings = reader.next()
        i = 0
        for line in reader:
            i+=1
            row =  {headings[i]:v for i, v in enumerate(line)}
            pointer = struc
            for dimension in dimensions:
                if dimension == 'date':
                    val = str(datetime.strptime(row[dimension], "%d/%m/%Y").date().month)
                else:
                    val = str(row[dimension])
                pointer.setdefault(val, {})
                pointer = pointer[val]
            for metric in metrics:
                pointer.setdefault(metric, 0.0)
                try:
                    pointer[metric] += float(row[metric])
                except ValueError:
                    pass
    return struc


start = datetime.today()

dims = ['brand', 'source', 'affiliate', 'country', 'store', 'salesbundle', 'product', 'ordertype', 'returncode', 'supplier', 'category']

metrics = ['sales', 'qty', 'cogs', 'carriagereclaim', 'Carriage Charged Carrier', 'carriage_est', 'mktg_est', 'mktg_cost', 'royalty', 'finance', 'scrap_cost', 'mp_cost', 'budgetsales', 'budgetcosts', 'BSTD', 'budgetaftersales', 'budgetscrap', 'budgetcarriagerecovery', 'budgetcarriagepaid', 'budgetmetapack', 'budgetmarketing', 'budgetaffiliate', 'budgetoffline', 'budgetroyalty', 'budgetfinance', 'bundle_qty', 'misc_adjustments']

jsonified = jsonify_csv('PhocasSales_2015+.csv', dims, metrics)

print 'file opened', datetime.today()-start

stop = raw_input("waiting...")

Answer 1

每次通话都会使用相同的字典。见http://docs.python-guide.org/en/latest/writing/gotchas/。在编译时将空字典{}创建为函数的属性。

如果您使用默认值调用该函数28次，则不会获得28个不同的词典，它们将共享相同的词典。将其默认为None然后在函数体中测试其值。

试试这个：

def jsonify_csv(fileString, dimensions, metrics, struc = None):
    if struc is None:
        struc = {}

    with open(fileString, 'rb') as f:
    ... # and so on

为什么python词典会占用这么多内存？

1 个答案: