Question

我想使用生成器来优化我的应用程序，而不是创建3个列表，我想使用2个生成器。这是我的应用程序的当前版本的简短方案：

1）从二进制文件加载数据 - ＆gt;第一个清单

self.stream_data = [ struct.unpack(">H", data_file.read(2))[0] for foo in
                       xrange(self.columns*self.rows) ]

2）创建所谓的非零抑制数据（所有带零的数据） - ＆gt;第二个清单

self.NZS_data = list()
for row in xrange(self.rows):
    self.NZS_data.append( [ self.stream_data[column + row * self.rows ] 
                          for column in xrange(self.columns) ] )

3）创建零抑制数据（没有带坐标的零） - ＆gt;第三个清单

self.ZS_data = list()
for row in xrange(self.rows):
    for column in xrange(self.columns):
        if self.NZS_data[row][column]:
            self.ZS_data.append( [ column, row, self.NZS_data[row][column] ] )

（我知道这可能会被使用itertools.product压缩成一个列表理解）

4）将ZS_data列表保存到文件中。

我使用了Python的cProfiler，大部分时间（除了读取和解包）都用于创建这两个（NZS_data和ZS_data）列表。因为我只需要它们将数据保存到文件中，所以我一直在考虑使用2个生成器：

1）创建一个用于读取文件的生成器 - ＆gt;第一台发电机

self.stream_data = ( struct.unpack(">H", data_file.read(2))[0] for foo in
                       xrange(self.columns*self.rows) )

2）创建ZS_data生成器（我真的不需要这个NZS数据）

self.ZS_data = ( [column, row, self.stream_data.next()]
                 for row, column in itertools.product(xrange(self.rows),
                 xrange(self.columns))
                 if self.stream_data.next() )

这当然无法正常工作，因为我从生成器中获得了两个不同的值。

3）使用生成器将数据保存到文件中。

我想知道如何做到这一点。也许您有其他与此应用程序可能优化相关的想法？

ADDED
基于生成器的解决方案：

def create_ZS_data(self):
    self.ZS_data = ( [column, row, self.stream_data[column + row * self.rows ]]
                     for row, column in itertools.product(xrange(self.rows), xrange(self.columns))
                     if self.stream_data[column + row * self.rows ] )

Profiler信息：

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     3257    1.117    0.000   71.598    0.022 decode_from_merlin.py:302(create_ZS_file)
   463419   67.705    0.000   67.705    0.000 decode_from_merlin.py:86(<genexpr>)

Jon的解决方案：

create_ZS_data(self):
    self.ZS_data = list()
    for rowno, cols in enumerate(self.stream_data[i:i+self.columns] for i in xrange(0, len(self.stream_data), self.columns)):
        for colno, col in enumerate(cols):
            # col == value, (rowno, colno) = index
            if col:
                self.ZS_data.append([colno, rowno, col])

Profiler信息：

   ncalls  tottime  percall  cumtime  percall filename:lineno(function)
     3257   18.616    0.006   19.919    0.006 decode_from_merlin.py:83(create_ZS_data)

Answer 1

你可以让解包更有效......

self.data_stream = struct.unpack_from('>{}H'.format(self.rows*self.columns), data_file)

将循环减少到类似：

for rowno, cols in enumerate(self.data_stream[i:i+self.columns] for i in xrange(0, len(self.data_stream), self.columns)):
    for colno, col in enumerate(cols):
        # col == value, (rowno, colno) = index
        if col == 0:
            pass # do something
        else:
            pass # do something else

注意 - 未经测试

用2个生成器替换3个列表

1 个答案: