itertools.product是否懒洋洋地评估其参数?

时间:2017-08-09 09:34:10

标签: python python-3.x itertools

以下内容从未在Python 3.6中打印任何内容

from itertools import product, count

for f in product(count(), [1,2]): 
    print(f)

相反,它只是坐在那里燃烧CPU。问题似乎是product永远不会返回迭代器,如果它超过无限空间,因为它首先评估完整的product。鉴于product应该是一个生成器,这是令人惊讶的。

我原以为这会开始计数(到无穷大),类似于这个生成器的行为(采用directly from the docs):

for tup in ((x,y) for x in count() for y in [1,2]):
    print(tup)

但是当我的生成器立即开始计数时,使用product的生成器根本不会计数。

itertools中的其他工具可以满足我的期望。例如,以下内容:

for f in takewhile(lambda x: True, count()): 
    print(f)

会打印一个数字流,因为takewhile是懒惰的。

3 个答案:

答案 0 :(得分:7)

itertools.product懒惰地生成结果,但参数不是这样。他们热切地评估。每个可迭代参数首先转换为元组:

参数的评估(不是结果的产生)与文档中显示的Python实现非常相似:

...
pools = [tuple(pool) for pool in args] * repeat

然而,在CPython implementation中,pools是一个元组元组:

for (i=0; i < nargs ; ++i) {
     PyObject *item = PyTuple_GET_ITEM(args, i);
     PyObject *pool = PySequence_Tuple(item);   /* here */
     if (pool == NULL)
         goto error;
     PyTuple_SET_ITEM(pools, i, pool);
     indices[i] = 0;
 }

这是因为product有时需要多次遍历一次迭代,如果参数保留为只能被消耗一次的迭代器,这是不可能的。

你实际上无法从itertools.count对象构建元组。在传递给itertools.islice之前,请使用product切片考虑到合理的长度。

答案 1 :(得分:1)

  

问题似乎是产品永远不会返回迭代器

不,product已经“懒惰”。

问题是count()计入无穷大。 来自count的{​​{3}}:

相当于:

def count(start=0, step=1):
    # count(10) --> 10 11 12 13 14 ...
    # count(2.5, 0.5) -> 2.5 3.0 3.5 ...
    n = start
    while True:
        yield n
        n += step

您的代码基本上与执行相同:

def count():
    i = 0
    while True:
        yield i
        i += 1

count()

答案 2 :(得分:0)

我找到了

for tup in ((x,y) for x in count() for y in [1,2]):
    print(tup)

做我期望的事。鉴于is listed as equivelent in the docs,这很奇怪。这似乎是itertools.product中的一个错误,但考虑到它的标准,似乎不太可能。