Python性能比较：将Iterator转换为List并按索引添加元素（在预分配之后）与迭代时添加元素

Question

长话短说。更好的是：

给定迭代器：例如。读取CSV或从DB获取查询结果后。什么会带来更好的表现？为什么？

第一种方法：使用迭代器和追加迭代到必需的列表。类似的东西：

element1_list=[]
element2_list=[]
for row in rows:
    element1_list.append(row[element1_index])
    element2_list.append(row[element2_index])

第二种方法：将迭代器转换为列表并在预分配后访问元素

row_list=list(rows)
length=len(row_list)
element1_list=[None]*length
element2_list=[None]*length
for i in range(0,length):
    element1_list[i]=row_list[i][element1_index]
    element2_list[i]=row_list[i][element2_index]

预分配有它自己的好处。但转换为列表本身可能是一个迭代本身。那么选择什么方法以及为什么？知道引擎盖下会发生什么会很有趣吗？

编辑：再次强调，想知道这些方法的根本区别。不仅仅是使用timeit和做实证分析，我想做的是支持理论，而不是相反的方式

一些性能标准可能是：

1. 速度和CPU时间
2. 内存

Answer 1

由于每个人都建议 timeit ，因此以下是结果和随附的代码。

我用于测试的代码如下：

import timeit
import matplotlib.pyplot as plt
import csv

index_element_1=0
index_element_2=2

def create_csv(num_records):
    '''Creates a test CSV'''
    a=open('test.csv','wb')
    a.write("10,20,30,40,50\n"*num_records)
    a.close()

def read_csv(filename):
    '''Returns iterator'''
    cr = csv.reader(open(filename,"rb"))
    return cr

def convert_to_list_method():
    global csv_iterator
    csv_list=list(csv_iterator)
    length_list=len(csv_list)
    x=[None]*length_list
    y=[None]*length_list
    for i in range(0,length_list):
        x[i]=csv_list[index_element_1]
        y[i]=csv_list[index_element_2]
    return [x,y]

def iterate_and_append_method():
    global csv_iterator
    x=[]
    y=[]
    for row in csv_iterator:
        x.append(row[index_element_1])
        y.append(row[index_element_2])
    return [x,y]


CSV_SIZE=range(10000,1010000,10000)
time_convert_to_list=[0]*len(CSV_SIZE)
time_iterate=[0]*len(CSV_SIZE)
count=0

for csv_size in CSV_SIZE:
    create_csv(csv_size)
    global csv_iterator
    csv_iterator=read_csv('test.csv')
    time_convert_to_list[count]=timeit.timeit("convert_to_list_method()", setup="from __main__ import *",number=1)
    csv_iterator=read_csv('test.csv')
    time_iterate[count]=timeit.timeit("iterate_and_append_method()", setup="from __main__ import *",number=1)
    count=count+1

plt.xlabel('CSV Size')
plt.ylabel('Time (s)')
plt.plot(CSV_SIZE,time_convert_to_list,label='Convert to List')
plt.plot(CSV_SIZE,time_iterate,label='Iterate')
plt.legend()
plt.show()

结果变化不大。我认为所有评论都是正确的。它并没有太大的区别。

注意：我在timeit中只使用了每个函数的1次迭代，因为o / w必须重新创建迭代器，因为它被前一次迭代消耗了！