我正在编写一段在Python中使用Objects的代码。我有1.1GB的文件需要解析并转换为Objects。
然而， 1.1GB的文件，它消耗超过7GB的内存（我停止了它，因为它可以更进一步......），这是挺大。我使用内存分析器检查并查看发生了什么，并且...有我的结果示例：
Line # Mem usage Increment Line Contents
================================================
78 30.352 MiB 0.000 MiB @profile
79 def getInfos(listExch):
80
81 30.352 MiB 0.000 MiB SizeTot = 0
82 30.352 MiB 0.000 MiB upListExch = set()
83
84 5325.996 MiB 5295.645 MiB for exch in listExch:
85
86
87 5325.996 MiB 0.000 MiB symbExch = exch.symb
88 5325.996 MiB 0.000 MiB nameExch = exch.name
89 5325.996 MiB 0.000 MiB stList = exch.getStList()
90 5325.996 MiB 0.000 MiB upExch = Exch(symbExch,nameExch)
91
92 7572.309 MiB 2246.312 MiB for st in stList:
93
94 7572.309 MiB 0.000 MiB unexpected = False
95 7572.309 MiB 0.000 MiB symbSt = st.symb
96
97 7572.309 MiB 0.000 MiB filepath = '{0}/{1}.csv'.format(download_path,symbSt)
98
99 7572.309 MiB 0.000 MiB upSt = parseQ(st,filepath)
100 7572.309 MiB 0.000 MiB upExch.addSt(upSt)
101 5325.996 MiB -2246.312 MiB upListExch.add(upExch)
102
103 return upListExch
还有我在下面写的对象模型：
Exch是一个包含listSt的对象，每个St包含listQ个对象。
class Exch:
def __init__(self,symb,name):
self.symb = symb
self.name = name
self.listSt = set()
def addSt(self,st):
self.listSt.add(st)
def setStList(self,listSt):
self.listSt = listSt
def getStList(self):
return self.listSt
class St:
def __init__(self,symb,name):
self.symb = symb
self.name = name
self.listQ = set()
def getQList(self):
return self.listQ
def addQ(self,q):
self.listQ.add(q)
class Q:
def __init__(self,date,dataH,dataM,dataL):
self.date = date
self.dataH = dataH
self.dataM = dataM
self.dataL = dataL
我在这里做错了吗？或者Python不适应这一数据量？
修改
输入listExch包含Exch个对象的列表，而st中的每个listSt都包含一个空的listQ
输出将与输入相同，但每个listQ对象中的每个st都将被添加。
有解析器：
def parseQ(st,filepath):
loc_date,loc_dataH,loc_dataM,loc_dataL = 0,0,0,0
with open (filepath, 'rt') as csvfile:
reader = csv.reader (csvfile,delimiter=',')
row1 = next(reader)
unexpected = False
for idx,el in enumerate(row1):
if (el == 'Date'):
loc_date = idx
elif (el == 'Number High'):
loc_dataH = idx
elif (el == 'Number Medium'):
loc_dataM = idx
elif (el == 'Number Low'):
loc_dataL = idx
else:
log.error('Unexpected format on file {}. Skip the file'.format(filepath))
unexpected = True
break
if (unexpected):
log.error('The file "{}" is not properly set'.format(filepath))
return False
else:
next(reader)
for row in reader:
try:
st.addQ(Q(row[loc_date],row[loc_dataH],row[loc_dataM],row[loc_dataL]))
return st
答案 0 :(得分：4)
至少我并不感到惊讶。
在CSV中读取会生成一个行列表，每个行都指向一个元素列表。
现在，每个都是PyObject，这意味着它有一个typeref，通常我认为使用size_t，包含它的列表必须包含{包含它的id（同时，它只是指向PyObject的指针），因此它是两个size_t，即指针类型的大小，只是因为是一个元素。这甚至没有考虑到元素的“有效载荷”也需要一点内存的事实！
在64位机器上，每个元素的纯结构开销为128位。我不知道你的元素是怎样的，但很可能这不仅仅是实际的内容。
一般来说，不要这样做。如果您的数据是表格式的，请使用numpy加载它，它不会有列表的python列表，但只需分配一大块内存来转储原始值并在访问它们时计算单个元素地址，而不是去Python的路径从指针跳到指针。这样，你也会赢得很多速度。
我还要提一下，CSV是一种特别糟糕的格式，用于存储大量数据。没有正式的语言定义（这就是为什么python的CSV阅读器具有“方言”的概念），它在存储浮点数时非常低效（并且可能是不精确），没有读取全部就没有机会访问第N行 N-1以前的行，它依赖于字符串解析，不能用于原位修改值，除非这不会改变字符串的长度......总而言之：你做得很好如果您读入这些文件一次，并将它们转换为实际存储方式的表格格式。
“但是CSV是纯文本，我可以用我的文本编辑器阅读”参数并不真正重要 - 没有人能够“快速点击”1GB的CSV。因此，尝试摆脱CSV文件。 Numpy，再次具有可能适用于您的目的的本机存储格式，或使用HDF或任何其他标准格式 - 或者如果您的CSV的所有元素属于同一类型，您也可以将它们保存为您的原始字节图像数据 - 这将是最快和最节省空间的存储方法（但你必须“外部”记住数据的结构），稀疏性。
修改： 正如OP指出的那样， 正是他的计划：读取CSV，验证其内容，然后将其存储在数据库中！好风格。
现在，读取可以按行进行，因此您可以读取一行（或几行），将数据存储在数据库中，忘记行，获取下一行，等等。验证可能发生在数据库中存储的数据上，也可能发生在数据库的单独“暂存”部分。