何时使用以及何时不使用Python 3.5`await`?

时间:2015-10-26 23:14:25

标签: python python-asyncio python-3.5

我在Python 3.5中使用asyncio的流程,但我还没有看到我应该做什么await以及我不应该做的事情的描述或者哪里可以忽略不计。我是否必须在&#34方面使用我的最佳判断;这是一个IO操作,因此应await编辑"?

2 个答案:

答案 0 :(得分:41)

默认情况下,所有代码都是同步的。您可以使用async def使其成为异步定义函数,并使用await“调用”此函数。更正确的问题是“我应该何时编写异步代码而不是同步?”。答案是“当你能从中受益”时。在大多数情况下,正如您所指出的,当您使用I / O操作时,您将获益:

# Synchronous way:
download(url1)  # takes 5 sec.
download(url2)  # takes 5 sec.
# Total time: 10 sec.

# Asynchronous way:
await asyncio.gather(
    async_download(url1),  # takes 5 sec. 
    async_download(url2)   # takes 5 sec.
)
# Total time: only 5 sec. (+ little overhead for using asyncio)

当然,如果你创建了使用异步代码的函数,那么这个函数也应该是异步的(应该定义为async def)。但任何异步函数都可以自由使用同步代码。没有任何理由将同步代码转换为异步是没有意义的:

# extract_links(url) should be async because it uses async func async_download() inside
async def extract_links(url):  

    # async_download() was created async to get benefit of I/O
    html = await async_download(url)  

    # parse() doesn't work with I/O, there's no sense to make it async
    links = parse(html)  

    return links

一个非常重要的事情是,任何长时间的同步操作(例如,> 50毫秒,很难确切地说)都会冻结那段时间的所有异步操作:

async def extract_links(url):
    data = await download(url)
    links = parse(data)
    # if search_in_very_big_file() takes much time to process,
    # all your running async funcs (somewhere else in code) will be frozen
    # you need to avoid this situation
    links_found = search_in_very_big_file(links)

您可以避免在单独的进程中调用长时间运行的同步函数(并等待结果):

executor = ProcessPoolExecutor(2)

async def extract_links(url):
    data = await download(url)
    links = parse(data)
    # Now your main process can handle another async functions while separate process running    
    links_found = await loop.run_in_executor(executor, search_in_very_big_file, links)

还有一个例子:当您需要在asyncio中使用requests时。 requests.get只是同步长时间运行的函数,你不应该在异步代码中调用(再次,以避免冻结)。但是由于I / O,它运行时间很长,而不是因为长时间的计算。在这种情况下,您可以使用ThreadPoolExecutor代替ProcessPoolExecutor来避免一些多处理开销:

executor = ThreadPoolExecutor(2)

async def download(url):
    response = await loop.run_in_executor(executor, requests.get, url)
    return response.text

答案 1 :(得分:1)

你没有太多的自由。如果你需要调用一个函数,你需要知道这是一个常用的函数还是一个协程。当且仅当您调用的函数是协程时,您必须使用await关键字。

如果涉及async函数,则应该有一个“事件循环”来编排这些async函数。严格来说,没有必要,您可以“手动”运行向其发送值的async方法,但可能您不想这样做。事件循环跟踪尚未完成的协同程序,并选择下一个协程继续运行。 asyncio模块提供了事件循环的实现,但这不是唯一可能的实现。

考虑以下两行代码:

x = get_x()
do_something_else()

x = await aget_x()
do_something_else()

语义绝对相同:调用一个产生一些值的方法,当值准备就绪时,将其分配给变量x并执行其他操作。在这两种情况下,只有在前一行代码完成后才会调用do_something_else函数。它甚至不意味着在执行异步aget_x方法之前或之后或期间,控件将被赋予事件循环。

仍有一些差异:

  • 第二个代码段只能出现在另一个async函数
  • aget_x函数不常见,但是coroutine(使用async关键字声明或装饰为协程)
  • aget_x能够与事件循环“通信”:这会产生一些对象。事件循环应该能够将这些对象解释为执行某些操作的请求(例如,发送网络请求并等待响应,或者只是暂停此协程n秒)。通常get_x函数无法与事件循环通信。