了解Twisted和async编程。为什么代码工作而另一个代码不工作?

时间:2015-12-01 10:29:58

标签: python asynchronous twisted twisted.web twisted.internet

抱歉,首先是文字墙。我一直在努力理解Twisted和异步编程。

我正在使用Python 2.7和Twisted 15.4.0。

我为downloadPage()尝试this example,它运行正常。

我对它进行了修改,将回调从lambdas更改为正确的函数。有效。我还尝试从回调和errback中删除reactor.stop()语句,它唯一的效果是脚本在下载后不会停止。这使得事件循环仍然在运行。

我也试过提供一个破损的网址。

如果我只有一次调用downloadPage(),则程序会阻塞。它不会激发错误。

如果我有两个电话,一个网址坏了,另一个网址正确,它会运行,完成并触发回调(我假设正确的一个)并终止。

我的第一个问题是:为什么会这样?为什么没有针对损坏的URL触发errback?遗失的网址不应该引发错误吗?

我有一个单独的代码,看起来像这样:

def receive_some_data():
   # Do some non twisted stuff - The script runs and passes these lines
   While True:
       try:
           # Do some other non twisted stuff
           print "1"
           downloadPage("http//:www.google.com", "foo").addCallbacks(
               lambda value:(println('Good'),reactor.stop()),
               lambda error:(println("an error occurred",error),reactor.stop()))
           print "2"
       except Exceptions as e:
           print str(e)

def main():
    reactor.callWhenRunning(receive_some_data)
    reactor.run()

此代码不起作用。它打印" 1",它打印" 2",但没有回调或错误回叫。页面也没有下载到" foo"。

我的第二个问题是:为什么这段代码不起作用?是因为While循环吗?如果是这样,while循环如何影响延迟及其回调链?

编辑1:我更改了" True"到了"而条件"在3次迭代后终止。现在下载文件并调用回调。为什么无限循环会干扰下载?

另外,我的"#做一些其他非扭曲的东西" While循环内的行执行从管道读取。这是我得到我的网址的地方。

我可以持续阅读我的网址并在下载完成时安排回调的最佳方法是什么?

编辑2:我将代码更改为以下内容:

def receive_some_data():
    # Do some non twisted stuff
    if condition:
        # Request more urls
        downloadPage(url,file).addCallbacks(success,fail)
    else:
        # Ask sender not to send urls atm

def main():
    reactor.callWhenRunning(receive_some_data)
    reactor.run()

我将代码的结构更改为这个思维callWhenRunning()将继续调用receive_some_data函数(就像一个无限循环)。它没有。

如何让事件循环继续调用此函数?

编辑3:管理以使其有效运行。我发现了Looping Call方法。我使用循环调用每隔x秒从编辑2 调用我的代码。有用。还有其他方法吗?

谢谢!

1 个答案:

答案 0 :(得分:2)

基本上,当您多次调用downloadPage时,您正在执行的操作是并行启动多个下载。第一个完成的将是第一个调用它的回调或错误返回,这将停止反应堆和其他所有其他下载。

因此,当您将一个呼叫的URL更改为错误的主机时,请求需要一些时间才能超时。到那时,其他(好的)下载将完成,并停止反应堆。这就是为什么您的代码仅使用一个好的URL。

另一个示例中的while将在另一个示例之后创建一个下载,而不是从函数receive_some_data返回。但它需要返回以允许执行下载的调用/错误返回。 Twisted一次只能运行一个电话。