使用列表生成器时,Python 3中pdb模块可能存在错误

时间:2013-06-25 06:13:48

标签: python python-3.x generator pdb ipdb

在Python 3中运行此代码后:

import pdb

def foo():
    nums = [1, 2, 3]
    a = 5
    pdb.set_trace()

foo()

以下表达方式有效:

(Pdb) print(nums)
[1, 2, 3]

(Pdb) print(a)
5

(Pdb) [x for x in nums]
[1, 2, 3]

但以下表达式失败:

(Pdb) [x*a for x in nums]
*** NameError: global name 'a' is not defined

以上在Python 2.7中运行良好。

这是一个错误还是我遗失了什么?

更新:查看新接受的答案。这确实是一个错误(或有问题的设计),现在通过在pdb中引入新的命令和模式来解决这个问题。

3 个答案:

答案 0 :(得分:13)

如果您在[i] pdb会话中键入interact,您将获得一个交互式会话,并且列表推导在此模式下按预期工作

来源:http://bugs.python.org/msg215963

答案 1 :(得分:8)

完美无缺:

>>> import pdb
>>> def f(seq):
...     pdb.set_trace()
... 
>>> f([1,2,3])
--Return--
> <stdin>(2)f()->None
(Pdb) [x for x in seq]
[1, 2, 3]
(Pdb) [x in seq for x in seq]
[True, True, True]

如果没有显示您实际在做什么,没有人可以告诉您为什么在您的具体情况下您有NameError


TL; DR 在python3中,list-comprehensions实际上是具有自己的堆栈帧的函数,并且您无法访问seq变量,这是test的参数,来自内部堆栈框架。它被视为全局(因此,未找到)。


你看到的是python2与python3中list-comprehension的不同实现。 在python 2中,list-comprehensions实际上是for循环的简写,你可以在字节码中清楚地看到它:

>>> def test(): [x in seq for x in seq]
... 
>>> dis.dis(test)
  1           0 BUILD_LIST               0
              3 LOAD_GLOBAL              0 (seq)
              6 GET_ITER            
        >>    7 FOR_ITER                18 (to 28)
             10 STORE_FAST               0 (x)
             13 LOAD_FAST                0 (x)
             16 LOAD_GLOBAL              0 (seq)
             19 COMPARE_OP               6 (in)
             22 LIST_APPEND              2
             25 JUMP_ABSOLUTE            7
        >>   28 POP_TOP             
             29 LOAD_CONST               0 (None)
             32 RETURN_VALUE        

注意字节码如何包含FOR_ITER循环。另一方面,在python3中,list-comprehension实际上是 functions ,它们有自己的堆栈框架:

>>> def test(): [x in seq2 for x in seq]
... 
>>> dis.dis(test)
  1           0 LOAD_CONST               1 (<code object <listcomp> at 0xb6fef160, file "<stdin>", line 1>) 
              3 MAKE_FUNCTION            0 
              6 LOAD_GLOBAL              0 (seq) 
              9 GET_ITER             
             10 CALL_FUNCTION            1 
             13 POP_TOP              
             14 LOAD_CONST               0 (None) 
             17 RETURN_VALUE      

正如您所看到的,此处没有FOR_ITER,而是有MAKE_FUNCTIONCALL_FUNCTION字节码。如果我们检查列表理解的代码,我们就能理解如何设置绑定:

>>> test.__code__.co_consts[1]
<code object <listcomp> at 0xb6fef160, file "<stdin>", line 1>
>>> test.__code__.co_consts[1].co_argcount   # it has one argument
1
>>> test.__code__.co_consts[1].co_names      # global variables
('seq2',)
>>> test.__code__.co_consts[1].co_varnames   # local variables
('.0', 'x')

这里.0是函数的唯一参数。 x是循环的局部变量,seq2全局变量。请注意,list {comprehension参数.0是从seq获得的可迭代,而不是seq本身。 (请参阅上面GET_ITER输出中的dis操作码)。对于更复杂的示例,这一点更加清晰:

>>> def test():
...     [x in seq for x in zip(seq, a)]
... 
>>> dis.dis(test)
  2           0 LOAD_CONST               1 (<code object <listcomp> at 0xb7196f70, file "<stdin>", line 2>) 
              3 MAKE_FUNCTION            0 
              6 LOAD_GLOBAL              0 (zip) 
              9 LOAD_GLOBAL              1 (seq) 
             12 LOAD_GLOBAL              2 (a) 
             15 CALL_FUNCTION            2 
             18 GET_ITER             
             19 CALL_FUNCTION            1 
             22 POP_TOP              
             23 LOAD_CONST               0 (None) 
             26 RETURN_VALUE 
>>> test.__code__.co_consts[1].co_varnames
('.0', 'x')

在这里,您可以看到列表推导的唯一参数,始终由.0表示,是从zip(seq, a)获得的迭代。 seqa本身传递给列表理解。只有iter(zip(seq, a))在list-comprehension中传递。

我们必须做的另一个观察是,当您运行pdb时,您无法从要定义的函数访问当前函数的上下文。例如,以下代码在python2和python3上都失败了:

>>> import pdb
>>> def test(seq): pdb.set_trace()
... 
>>> test([1,2,3])
--Return--
> <stdin>(1)test()->None
(Pdb) def test2(): print(seq)
(Pdb) test2()
*** NameError: global name 'seq' is not defined

失败是因为在定义test2seq变量被视为全局变量,但它实际上是test函数内的局部变量,因此它无法访问。

您看到的行为类似于以下情形:

#python 2 no error
>>> class A(object):
...     x = 1
...     L = [x for _ in range(3)]
... 
>>> 

#python3 error!
>>> class A(object):
...     x = 1
...     L = [x for _ in range(3)]
... 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 3, in A
  File "<stdin>", line 3, in <listcomp>
NameError: global name 'x' is not defined

第一个没有给出错误,因为它大部分等同于:

>>> class A(object):
...     x = 1
...     L = []
...     for _ in range(3): L.append(x)
... 

由于列表推导在字节码中被“扩展”。在python3中它失败了,因为你实际上是在定义一个函数而你无法从嵌套的函数作用域访问类作用域:

>>> class A(object):
...     x = 1
...     def test():
...             print(x)
...     test()
... 
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 5, in A
  File "<stdin>", line 4, in test
NameError: global name 'x' is not defined

请注意,genexp是作为python2上的函数实现的,实际上你会看到与它们类似的行为(在python2和python3上都有):

>>> import pdb
>>> def test(seq): pdb.set_trace()
... 
>>> test([1,2,3])
--Return--
> <stdin>(1)test()->None
(Pdb) list(x in seq for x in seq)
*** Error in argument: '(x in seq for x in seq)'

此处pdb未向您提供更多详细信息,但失败的原因完全相同。


总之:它不是pdb中的错误,而是python实现范围的方式。 AFAIK更改此项以允许您在pdb中尝试执行的操作需要对函数的处理方式进行一些重大更改,并且我不知道是否可以在不修改解释器的情况下完成此操作。


请注意,使用嵌套列表推导时,嵌套循环在字节码中展开,如python2中的list-comprehensions:

>>> import dis
>>> def test(): [x + y for x in seq1 for y in seq2]
... 
>>> dis.dis(test)
  1           0 LOAD_CONST               1 (<code object <listcomp> at 0xb71bf5c0, file "<stdin>", line 1>) 
              3 MAKE_FUNCTION            0 
              6 LOAD_GLOBAL              0 (seq1) 
              9 GET_ITER             
             10 CALL_FUNCTION            1 
             13 POP_TOP              
             14 LOAD_CONST               0 (None) 
             17 RETURN_VALUE         
>>> # The only argument to the listcomp is seq1
>>> import types
>>> func = types.FunctionType(test.__code__.co_consts[1], globals())
>>> dis.dis(func)
  1           0 BUILD_LIST               0 
              3 LOAD_FAST                0 (.0) 
        >>    6 FOR_ITER                29 (to 38) 
              9 STORE_FAST               1 (x) 
             12 LOAD_GLOBAL              0 (seq2) 
             15 GET_ITER             
        >>   16 FOR_ITER                16 (to 35) 
             19 STORE_FAST               2 (y) 
             22 LOAD_FAST                1 (x) 
             25 LOAD_FAST                2 (y) 
             28 BINARY_ADD           
             29 LIST_APPEND              3 
             32 JUMP_ABSOLUTE           16 
        >>   35 JUMP_ABSOLUTE            6 
        >>   38 RETURN_VALUE        

如您所见,listcomp的字节码明确FOR_ITER超过seq2。 此显式FOR_ITER位于listcomp函数内,因此对范围的限制仍然适用(例如seq2作为全局加载)。

事实上,我们可以使用pdb确认这一点:

>>> import pdb
>>> def test(seq1, seq2): pdb.set_trace()
... 
>>> test([1,2,3], [4,5,6])
--Return--
> <stdin>(1)test()->None
(Pdb) [x + y for x in seq1 for y in seq2]
*** NameError: global name 'seq2' is not defined
(Pdb) [x + y for x in non_existent for y in seq2]
*** NameError: name 'non_existent' is not defined

注意NameError是关于seq2而不是seq1(作为函数参数传递)的方式,并注意如何将第一个可迭代名称更改为不存在的名称更改NameError(这意味着第一种情况seq1已成功通过。)

答案 2 :(得分:-5)

我只是不明白为什么你需要做上面的事情,如果你想为seq中的每个元素生成一个Trues列表那么为什么不是[对于seq中的x] - 我猜你需要在尝试此类事情之前先分配本地副本。