我正在尝试使用python中的async从网站获取数据。作为示例,我使用了以下代码(在“更好的协程”示例下):https://www.blog.pythonlibrary.org/2016/07/26/python-3-an-intro-to-asyncio/
现在这可以正常工作,但是它会将二进制块写入文件中,而我不希望在文件中使用它。我想要直接得到的数据。但是我目前有一个协程对象列表,我无法从中获取数据。
代码:
# -*- coding: utf-8 -*-
import aiohttp
import asyncio
import async_timeout
async def fetch(session, url):
with async_timeout.timeout(10):
async with session.get(url) as response:
return await response.text()
async def main(loop, urls):
async with aiohttp.ClientSession(loop=loop) as session:
tasks = [fetch(session, url) for url in urls]
await asyncio.gather(*tasks)
return tasks
# time normal way of retrieval
if __name__ == '__main__':
urls = [a list of urls..]
loop = asyncio.get_event_loop()
details_async = loop.run_until_complete(main(loop, urls))
谢谢
答案 0 :(得分:3)
问题出在return tasks
末尾的main()
中,原始文章中没有此问题。而不是返回协程对象(一旦传递给asyncio.gather
就没有用),您应该返回asyncio.gather
返回的元组,其中包含以正确顺序运行协程的结果。例如:
async def main(loop, urls):
async with aiohttp.ClientSession(loop=loop) as session:
tasks = [fetch(session, url) for url in urls]
results = await asyncio.gather(*tasks)
return results
现在loop.run_until_complete(main(loop, urls))
将以与URL相同的顺序返回一个元组文本。