Question

我有一个脚本，用于检查数十万个提供的网站的状态码，并且我试图将信号量集成到流中以加快处理速度。问题在于，每当我集成一个信号量时，我只会得到一个填充了None对象的列表，而且我不确定为什么。

我主要是从其他源复制代码，因为我还没有完全理解异步编程，但是似乎在调试时我应该从函数中获取结果，但是当我收集函数时出现了问题。结果。我尝试在循环播放，聚会，确保期货等方面做些杂耍，但似乎没有任何东西可以返回工作清单。

async def fetch(session, url):
    try:
        async with session.head(url, allow_redirects=True) as resp:
            return url, resp.real_url, resp.status, resp.reason
    except Exception as e:
        return url, None, e, 'Error'


async def bound_fetch(sem, session, url):
    async with sem:
        await fetch(session, url)


async def run(urls):
    timeout = 15
    tasks = []

    sem = asyncio.Semaphore(100)
    conn = aiohttp.TCPConnector(limit=64, ssl=False)

    async with aiohttp.ClientSession(connector=conn) as session:
        for url in urls:
            task = asyncio.wait_for(bound_fetch(sem, session, url), timeout)
            tasks.append(task)

        responses = await asyncio.gather(*tasks)

    # responses = [await f for f in tqdm.tqdm(asyncio.as_completed(tasks), total=len(tasks))]
    return responses

urls = ['https://google.com', 'https://yahoo.com']

loop = asyncio.ProactorEventLoop()
data = loop.run_until_complete(run(urls))

我已经注释掉了进度条组件，但是当没有信号量时，该实现会返回所需的结果。

任何帮助将不胜感激。我正在疯狂地阅读异步编程，但我还不能确定。

Answer 1

您应该明确返回等待协程的结果。

替换此代码...

async def bound_fetch(sem, session, url):
    async with sem:
        await fetch(session, url)

...与此：

async def bound_fetch(sem, session, url):
    async with sem:
        return await fetch(session, url)

带有asyncio和信号量的aiohttp返回一个用Nones

1 个答案: