以下行为对我来说似乎是违反直觉的(Python 3.4):
>>> [(yield i) for i in range(3)]
<generator object <listcomp> at 0x0245C148>
>>> list([(yield i) for i in range(3)])
[0, 1, 2]
>>> list((yield i) for i in range(3))
[0, None, 1, None, 2, None]
最后一行的中间值实际上并不总是None
,它们是我们send
进入生成器的任何东西,相当于(我猜)到下面的生成器:
def f():
for i in range(3):
yield (yield i)
令我觉得这三条线路都很有趣。 Reference表示yield
仅允许在函数定义中使用(尽管我可能读错了和/或它可能只是从旧版本中复制过来)。前两行在Python 2.7中生成SyntaxError
,但第三行不生成。{/ p>
此外,它似乎很奇怪
有人可以提供更多信息吗?
答案 0 :(得分:63)
注意:这是CPython在comprehensions和生成器表达式中处理
yield
的错误,在Python 3.8中修复,在Python 3.7中有弃用警告。请参阅Python bug report和Python 3.7的Python 3.8和新增条目。
生成器表达式,set和dict comprehensions被编译为(generator)函数对象。在Python 3中,列表推导得到了相同的处理;从本质上讲,它们都是一个新的嵌套范围。
如果您尝试反汇编生成器表达式,可以看到这个:
>>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
1 0 LOAD_CONST 0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
3 LOAD_CONST 1 ('<genexpr>')
6 MAKE_FUNCTION 0
9 LOAD_NAME 0 (range)
12 LOAD_CONST 2 (3)
15 CALL_FUNCTION 1 (1 positional, 0 keyword pair)
18 GET_ITER
19 CALL_FUNCTION 1 (1 positional, 0 keyword pair)
22 POP_TOP
23 LOAD_CONST 3 (None)
26 RETURN_VALUE
>>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
1 0 LOAD_FAST 0 (.0)
>> 3 FOR_ITER 11 (to 17)
6 STORE_FAST 1 (i)
9 LOAD_FAST 1 (i)
12 YIELD_VALUE
13 POP_TOP
14 JUMP_ABSOLUTE 3
>> 17 LOAD_CONST 0 (None)
20 RETURN_VALUE
以上显示生成器表达式被编译为代码对象,作为函数加载(MAKE_FUNCTION
从代码对象创建函数对象)。 .co_consts[0]
引用让我们看到为表达式生成的代码对象,它就像生成器函数一样使用YIELD_VALUE
。
因此,yield
表达式在该上下文中起作用,因为编译器将它们视为伪装函数。
这是一个错误; yield
在这些表达中没有位置。 Python 3.7之前的Python 语法允许它(这就是代码可编译的原因),但yield
expression specification表明在这里使用yield
不应该实际工作:
yield表达式仅在定义生成器函数时使用,因此只能在函数定义的主体中使用。
这已被确认为issue 10544中的错误。该错误的解决方案是使用yield
和yield from
raise a SyntaxError
in Python 3.8;在Python 3.7 it raises a DeprecationWarning
中,以确保代码停止使用此构造。如果您使用-3
command line switch启用Python 3兼容性警告,您将在Python 2.7.15及更高版本中看到相同的警告。
3.7.0b1警告看起来像这样;将警告转换为错误会给你一个SyntaxError
例外,就像你在3.8中那样:
>>> [(yield i) for i in range(3)]
<stdin>:1: DeprecationWarning: 'yield' inside list comprehension
<generator object <listcomp> at 0x1092ec7c8>
>>> import warnings
>>> warnings.simplefilter('error')
>>> [(yield i) for i in range(3)]
File "<stdin>", line 1
SyntaxError: 'yield' inside list comprehension
列表推导中的yield
与生成器表达式中的yield
之间的差异源于这两个表达式的实现方式的差异。在Python 3中,列表推导使用LIST_APPEND
调用将堆栈的顶部添加到正在构建的列表中,而生成器表达式则生成该值。添加(yield <expr>)
只会将另一个YIELD_VALUE
操作码添加到:
>>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
1 0 BUILD_LIST 0
3 LOAD_FAST 0 (.0)
>> 6 FOR_ITER 13 (to 22)
9 STORE_FAST 1 (i)
12 LOAD_FAST 1 (i)
15 YIELD_VALUE
16 LIST_APPEND 2
19 JUMP_ABSOLUTE 6
>> 22 RETURN_VALUE
>>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
1 0 LOAD_FAST 0 (.0)
>> 3 FOR_ITER 12 (to 18)
6 STORE_FAST 1 (i)
9 LOAD_FAST 1 (i)
12 YIELD_VALUE
13 YIELD_VALUE
14 POP_TOP
15 JUMP_ABSOLUTE 3
>> 18 LOAD_CONST 0 (None)
21 RETURN_VALUE
字节码索引15和12处的YIELD_VALUE
操作码分别是额外的,巢中的杜鹃。因此,对于list-comprehension-turned-generator,每次产生堆栈顶部的产量为1(用yield
返回值替换堆栈的顶部),对于生成器表达式变量,产生顶部堆栈(整数)然后再次生成 ,但现在堆栈包含yield
的返回值,第二次得到None
。
对于列表推导,仍会返回预期的list
对象输出,但Python 3将其视为生成器,因此返回值将作为{{1}附加到StopIteration
exception。 } attribute:
value
这些>>> from itertools import islice
>>> listgen = [(yield i) for i in range(3)]
>>> list(islice(listgen, 3)) # avoid exhausting the generator
[0, 1, 2]
>>> try:
... next(listgen)
... except StopIteration as si:
... print(si.value)
...
[None, None, None]
个对象是None
表达式的返回值。
再次重申这一点;同样的问题也适用于Python 2和Python 3中的字典和集合理解;在Python 2中,yield
返回值仍会添加到预期的字典或集合对象中,并且返回值将被生成&#39;最后而不是附加到yield
例外:
StopIteration