我有一个程序从其他页面获取信息并使用BeautifulSoup和Twisted的getPage解析它们。稍后在程序中我打印延迟进程创建的信息。目前我的程序试图在不同的返回信息之前打印它。我怎么能让它等待?
def twisAmaz(contents): #This parses the page (amazon api xml file)
stonesoup = BeautifulStoneSoup(contents)
if stonesoup.find("mediumimage") == None:
imageurl.append("/images/notfound.png")
else:
imageurl.append(stonesoup.find("mediumimage").url.contents[0])
usedPdata = stonesoup.find("lowestusedprice")
newPdata = stonesoup.find("lowestnewprice")
titledata = stonesoup.find("title")
reviewdata = stonesoup.find("editorialreview")
if stonesoup.find("asin") != None:
asin.append(stonesoup.find("asin").contents[0])
else:
asin.append("None")
reactor.stop()
deferred = dict()
for tmpISBN in isbn: #Go through ISBN numbers and get Amazon API information for each
deferred[(tmpISBN)] = getPage(fetchInfo(tmpISBN))
deferred[(tmpISBN)].addCallback(twisAmaz)
reactor.run()
.....print info on each ISBN
答案 0 :(得分:8)
看起来你正试图制造/运行多个反应堆。一切都附加到相同的反应堆。以下是使用DeferredList
等待所有回调完成的方法。
另请注意,twisAmaz
会返回一个值。该值通过callbacks
DeferredList
传递,并显示为value
。由于DeferredList
保留了放入其中的内容的顺序,因此您可以将结果的索引与ISBN的索引进行交叉引用。
from twisted.internet import defer
def twisAmaz(contents):
stonesoup = BeautifulStoneSoup(contents)
ret = {}
if stonesoup.find("mediumimage") is None:
ret['imageurl'] = "/images/notfound.png"
else:
ret['imageurl'] = stonesoup.find("mediumimage").url.contents[0]
ret['usedPdata'] = stonesoup.find("lowestusedprice")
ret['newPdata'] = stonesoup.find("lowestnewprice")
ret['titledata'] = stonesoup.find("title")
ret['reviewdata'] = stonesoup.find("editorialreview")
if stonesoup.find("asin") is not None:
ret['asin'] = stonesoup.find("asin").contents[0]
else:
ret['asin'] = 'None'
return ret
callbacks = []
for tmpISBN in isbn: #Go through ISBN numbers and get Amazon API information for each
callbacks.append(getPage(fetchInfo(tmpISBN)).addCallback(twisAmazon))
def printResult(result):
for e, (success, value) in enumerate(result):
print ('[%r]:' % isbn[e]),
if success:
print 'Success:', value
else:
print 'Failure:', value.getErrorMessage()
callbacks = defer.DeferredList(callbacks)
callbacks.addCallback(printResult)
reactor.run()
答案 1 :(得分:3)
另一种很酷的方法是使用@defer.inlineCallbacks。它允许您编写异步代码,如常规顺序函数:http://twistedmatrix.com/documents/8.1.0/api/twisted.internet.defer.html#inlineCallbacks
答案 2 :(得分:2)
首先,你不应该在你的延迟方法中放入reactor.stop(),因为它会杀死所有东西。
现在,在Twisted中,不允许“等待”。要打印回调结果,只需在第一个回调后添加另一个回调。