Question

我不知道如何在不阻止send（）工作的情况下使用yield（不是yield from）来包装子生成器。使用yield from允许send（）继续使用子生成器，但它会移交控制，您无法检查或计算通过的值。

动机：我使用python3生成器编写了一些流迭代，允许文件或套接字或其他任何内容通过一个通用的“接口”一次读取一个字节，以便解析器逐个使用字节。

为了帮助解析我然后扩展了生成器逻辑，以便允许请求者指示在产生字节之后流是否应该增加它的位置（字节被读取和消耗），或者流是否应该在屈服之后保持其位置（偷看 - 只读字节）。这样就可以在将流传递给子解析器之前匹配规则。

在当前实现中，以下任何一个都将从生成器获取一个字节并增加生成器在流中的位置。

byte = stream.send(True)

byte = next(stream)

...虽然这个特殊的调用从生成器获取一个字节而不增加流中的位置。

byte = stream.send(False)

到目前为止一切顺利。我的低内存JSON解析器（https://github.com/ShrimpingIt/medea）运行良好。 https://github.com/ShrimpingIt/medea/blob/dd0007e657cd487913c72993dcdaf0f60d8ee30e/examples/scripts/twitterValuesNamed.py的示例能够处理来自文件的缓存推文。

对于HTTPS - 要从套接字获取实时推文，SSL套接字最后不会自动关闭。任何解析过程都会挂起，等待更多数据，我想解决这个问题。

出于这个原因，我首先创建HTTPS流，然后从流中读取字节，处理内容长度标头并跳转到HTTP标头末尾的“\ r \ n \ r \ n”，然后再处理在正确的位置流到解析器。此时我知道流在停止之前应该有多少内容字节。

不幸的是，我遇到了语法，表达或理解问题。

直接移交给流很简单，并且保留了发送功能（允许查看字节）......

def delegatingStream():
    yield from rawStream

但是，我无法想象如何创建一个迭代器，智能地使用contentLength值在contentLength之后终止而不破坏send（）。

我需要使用yield来干预迭代器逻辑，但只有yield from似乎允许委托send（）。我甚至无法一起发送和收集来复制delegatingStream（）的行为。例如，这没有相同的效果。

def relayingStream():
    while True:
        yield rawStream.send((yield))

避免yield from的原因是我最终需要这样的实现，（这不会忠实地转发send（））...

def terminatingStream():
    contentPos = 0
    while contentPos < contentLength:
        increment = (yield)
        yield rawStream.send(increment)
        if increment is not False:
            contentPos += 1
    rawStream.throw(StopIteration)

知道如何在不使用send()的情况下正确转发yield from的值？

Answer 1

您可以在PEP 380 -- Syntax for Delegating to a Subgenerator中查看Formal Semantics section，查看yield from Python等效内容。

RESULT = yield from EXPR基本上等同于：

_i = iter(EXPR)
try:
    _y = next(_i)
except StopIteration as _e:
    _r = _e.value
else:
    while 1:
        try:
            _s = yield _y
        except GeneratorExit as _e:
            try:
                _m = _i.close
            except AttributeError:
                pass
            else:
                _m()
            raise _e
        except BaseException as _e:
            _x = sys.exc_info()
            try:
                _m = _i.throw
            except AttributeError:
                raise _e
            else:
                try:
                    _y = _m(*_x)
                except StopIteration as _e:
                    _r = _e.value
                    break
        else:
            try:
                if _s is None:
                    _y = next(_i)
                else:
                    _y = _i.send(_s)
            except StopIteration as _e:
                _r = _e.value
                break
RESULT = _r

您可以实现以替换yield from。您可以放弃RESULT处理，因为您不期待任何处理。接下来是谨慎处理generator.close()和generator.throw();如果你认为存在这些，那么你可以进一步简化，并使用一些更易读的名称：

it = iter(EXPR)
try:
    value = next(it)
except StopIteration:
    pass
else:
    while True:
        try:
            sent = yield value
        except GeneratorExit:
            it.close()
            raise
        except BaseException:
            try:
                value = it.throw(*sys.exc_info())
            except StopIteration:
                break
        else:
            try:
                value = it.send(sent)
            except StopIteration:
                break

我还使用了generator.next()是generator.send(None)的道德等同物来移除另一个测试的事实。

将EXPR替换为rawStream并将整体包装成一个函数，您可以监控两个方向的数据流。

基于收益率相当于Python3'来自'委托而不会丢失发送

1 个答案: