扭曲的延迟/回调和异步执行

时间:2010-12-27 21:07:41

标签: python asynchronous callback twisted deferred

我正在试图弄清楚如何使用twisted来使我的代码更加异步。

  • 函数返回延迟对象
  • 然后我添加一个回调列表
  • 在延迟函数通过deferred_obj.callback
  • 提供一些结果后,将调用第一个回调
  • 然后,在回调链中,第一个回调将对数据执行某些操作并调用第二个回调
  • 等。
然而,链式回调不会被认为是异步的,因为它们是链接的,并且事件循环将继续同时触发它们中的每一个,直到没有更多,对吧?

但是,如果我有一个延迟对象,并且我将d.addCallback(deferred_obj.callback)中的deferred_obj.callback作为其回调附加,那么这将被视为异步,因为deferred_obj正在等待数据,然后是方法将传递数据也在等待数据,但是一旦我d.callback'd'对象处理数据然后它调用deferred_obj.callback但是因为这个对象是延迟的,与链式回调的情况不同,它将异步执行.. 。正确吗?

假设我的所有代码都是非阻塞的,这意味着链式回调不是异步的,而链式延迟是正确的吗?

4 个答案:

答案 0 :(得分:8)

回调(默认情况下)是同步的。但是,正如Twisted doc所指出的那样:

  

如果你需要一个Deferred等待另一个,你需要做的就是从添加到addCallbacks的方法返回Deferred。

因此,您可以使用它在回调链中进行一些异步处理。我们这样做:

from twisted.internet import reactor, defer

def callback_func_2(result, previous_data):
    # here we pass the result of the deferred down the callback chain
    # (done synchronously)
    print "calling function 1 on result:%s with previous result:%s" % (result, previous_data)
    return result

def callback_func(result):
    #let's do some asynchronous stuff in this callback
    # simple trick here is to return a deferred from a callback 
    # instead of the result itself.
    # 
    # so we can do asynchronous stuff here, 
    # like firing something 1 second later and have 
    # another method processing the result
    print "calling function 1 on result:%s" % result
    d = defer.Deferred()
    reactor.callLater(1, d.callback, "second callback")
    d.addCallback(callback_func_2, result)
    return d

def do():
    d = defer.Deferred()
    reactor.callLater(1, d.callback, "first callback")
    d.addCallback(callback_func)
    return d

do()
reactor.run()

答案 1 :(得分:2)

排序,但这种类型的事件处理没有并发性。在代码返回事件循环之前,不会调用任何新的回调。所以回调链是同步的。它只在事件循环中异步。

这是此类编程的一个警告,处理程序大多数执行得很快,并尽快回到事件循环。它不应该在处理程序中执行任何耗时的任务。

答案 2 :(得分:0)

使用延迟不会使您的代码异步。

import time
from twisted.internet import defer
from twisted.internet import reactor

def blocking(duration, deferred):
    print "start blocking"
    time.sleep(duration)
    print "finished blocking"
    deferred.callback(True)

def other_task():
    print "working..."
    reactor.callLater(1, other_task)

def finish(result):
    print "stopping reactor in 2sec"
    reactor.callLater(2, reactor.stop)

def failed(reason):
    print reason
    print "stopping reactor in 2sec"
    reactor.callLater(2, reactor.stop)

def main():
    d = defer.Deferred()
    d.addCallbacks(finish, failed)
    reactor.callLater(0, blocking, 5, d)

if __name__ == "__main__":
    reactor.callLater(0, other_task)
    main()
    reactor.run()

如果你有长时间运行的同步代码,你可以使用Cooperator deferToThread或将其分解为短迭代(twisted.internet.task)

答案 3 :(得分:0)

如果您想通过干净的方法使代码更加异步,那么请查看此框架:

https://github.com/iogf/untwisted

它有清晰的代码和清晰的文档。处理异步模型的方法很简单。