Question

我有一个在Python 3.7 + Tornado 5上运行的REST API，以postgresql作为数据库，使用带有SQLAlchemy核心的aiopg（通过aiopg.sa绑定）。对于单元测试，我将py.test与pytest-tornado一起使用。

只要不涉及对数据库的查询，所有测试都将正常进行，我将在这里得到：

运行时错误：任务cb = [IOLoop.add_future ..（），位于venv / lib / python3.7 / site-packages / tornado / ioloop.py：719]>将Future连接到另一个循环

相同的代码在测试中工作正常，到目前为止，我能够处理100多个请求。

这是@auth装饰器的一部分，该装饰器将检查Authorization标头中的JWT令牌，对其进行解码并获取用户的数据，并将其附加到请求中；这是查询的一部分：

                partner_id = payload['partner_id']
                provided_scopes = payload.get("scope", [])
                for scope in scopes:
                    if scope not in provided_scopes:
                        logger.error(
                            'Authentication failed, scopes are not compliant - '
                            'required: {} - '
                            'provided: {}'.format(scopes, provided_scopes)
                        )
                        raise ForbiddenException(
                            "insufficient permissions or wrong user."
                        )
                db = self.settings['db']
                partner = await Partner.get(db, username=partner_id)
                # The user is authenticated at this stage, let's add
                # the user info to the request so it can be used
                if not partner:
                    raise UnauthorizedException('Unknown user from token')
                p = Partner(**partner)
                setattr(self.request, "partner_id", p.uuid)
                setattr(self.request, "partner", p)

Partner中的.get（）异步方法来自应用程序中所有模型的Base类。这是.get方法的实现：

@classmethod
async def get(cls, db, order=None, limit=None, offset=None, **kwargs):
    """
    Get one instance that will match the criteria
    :param db:
    :param order:
    :param limit:
    :param offset:
    :param kwargs:
    :return:
    """
    if len(kwargs) == 0:
        return None
    if not hasattr(cls, '__tablename__'):
        raise InvalidModelException()
    tbl = cls.__table__
    instance = None
    clause = cls.get_clause(**kwargs)
    query = (tbl.select().where(text(clause)))
    if order:
        query = query.order_by(text(order))
    if limit:
        query = query.limit(limit)
    if offset:
        query = query.offset(offset)
    logger.info(f'GET query executing:\n{query}')
    try:
        async with db.acquire() as conn:
            async with conn.execute(query) as rows:
                instance = await rows.first()
    except DataError as de:
        [...]
    return instance

上面的.get（）方法将返回模型实例（行表示）或无。

它使用db.acquire（）上下文管理器，如aiopg的文档中所述：https://aiopg.readthedocs.io/en/stable/sa.html。

如同一篇文档中所述，sa.create_engine（）方法返回一个连接池，因此db.acquire（）仅使用该池中的一个连接。我将这个池共享给Tornado中的每个请求，他们在需要时使用它来执行查询。

这是我在conftest.py中设置的固定装置：

@pytest.fixture
async def db():
    dbe = await setup_db()
    return dbe


@pytest.fixture
def app(db, event_loop):
    """
    Returns a valid testing Tornado Application instance.
    :return:
    """
    app = make_app(db)
    settings.JWT_SECRET = 'its_secret_one'
    return app

我找不到导致这种情况发生的原因； Tornado的文档和资料清楚地表明asyncIO事件循环是默认使用的，通过调试它，我可以看到事件循环确实是相同的，但是由于某种原因，它似乎突然关闭或停止了。

这是一项失败的测试：

@pytest.mark.gen_test(timeout=2)
def test_score_returns_204_empty(app, http_server, http_client, base_url):
    score_url = '/'.join([base_url, URL_PREFIX, 'score'])
    token = create_token('test', scopes=['score:get'])
    headers = {
        'Authorization': f'Bearer {token}',
        'Accept': 'application/json',
    }
    response = yield http_client.fetch(score_url, headers=headers, raise_error=False)
    assert response.code == 204

该测试失败，因为它返回401（而不是204），原因是由于RuntimeError而导致auth装饰器上的查询失败，该查询随后返回了未经授权的响应。

这里的异步专家的任何想法将不胜感激，我对此一无所知！！

Answer 1

好吧，经过大量的挖掘，测试，当然，并且学习了很多关于异步的知识之后，我才使它自己工作。感谢到目前为止的建议。

问题是asyncio的event_loop没有运行；正如@hoefling提到的，pytest本身不支持协程，但是pytest-asyncio为您的测试带来了这样一个有用的功能。此处对此进行了很好的解释：https://medium.com/ideas-at-igenius/testing-asyncio-python-code-with-pytest-a2f3628f82bc

因此，如果没有pytest-asyncio，则需要测试的异步代码将如下所示：

def test_this_is_an_async_test():
   loop = asyncio.get_event_loop()
   result = loop.run_until_complete(my_async_function(param1, param2, param3)
   assert result == 'expected'

我们使用loop.run_until_complete（），否则，循环将永远不会运行，因为这是asyncio在默认情况下的工作方式（而pytest并没有使它以不同的方式工作）。

使用pytest-asyncio，您的测试可与著名的async / await部分一起使用：

async def test_this_is_an_async_test(event_loop):
   result = await my_async_function(param1, param2, param3)
   assert result == 'expected'

在这种情况下，

pytest-asyncio包装了上面的run_until_complete（）调用，对其进行了概括，因此事件循环将运行，并且可供异步代码使用。

请注意：第二种情况下的event_loop参数在这里甚至不是必需的，pytest-asyncio为您的测试提供了一个参数。

另一方面，在测试Tornado应用程序时，通常需要在测试过程中启动并运行http服务器，在知名端口中进行侦听等，因此通常的方法是编写固定装置以获得http服务器，base_url（通常为http://localhost :，具有未使用的端口等）。

pytest-tornado很有用，因为它为您提供了以下几种固定装置：http_server，http_client，unused_port，base_url等。

还要提及的是，它具有pytest标记的gen_test（）功能，该功能可以将任何标准测试转换为通过yield使用协程，甚至断言它将在给定的超时下运行，如下所示：

    @pytest.mark.gen_test(timeout=3)
    def test_fetch_my_data(http_client, base_url):
       result = yield http_client.fetch('/'.join([base_url, 'result']))
       assert len(result) == 1000

但是，这种方式不支持异步/等待，实际上只有tornado的ioloop可以通过io_loop夹具使用（尽管Tornado的ioloop默认使用Tornado 5.0之下的asyncio），所以您需要将pytest结合起来.mark.gen_test和pytest.mark.asyncio，但顺序正确！（我确实失败了）。

一旦我更好地理解了可能是什么问题，这就是下一个方法：

    @pytest.mark.gen_test(timeout=2)
    @pytest.mark.asyncio
    async def test_score_returns_204_empty(http_client, base_url):
        score_url = '/'.join([base_url, URL_PREFIX, 'score'])
        token = create_token('test', scopes=['score:get'])
        headers = {
            'Authorization': f'Bearer {token}',
            'Accept': 'application/json',
        }
        response = await http_client.fetch(score_url, headers=headers, raise_error=False)
        assert response.code == 204

但是，如果您了解Python的装饰器包装器是如何工作的，那就完全错了。使用上面的代码，然后将pytest-asyncio的协程包装在pytest-tornado yield gen.coroutine中，它不会使事件循环运行...所以我的测试仍然失败，并出现相同的问题。对数据库的任何查询都将返回Future，以等待事件循环运行。

一旦我弄清了一个愚蠢的错误，我的更新代码就结束了：

    @pytest.mark.asyncio
    @pytest.mark.gen_test(timeout=2)
    async def test_score_returns_204_empty(http_client, base_url):
        score_url = '/'.join([base_url, URL_PREFIX, 'score'])
        token = create_token('test', scopes=['score:get'])
        headers = {
            'Authorization': f'Bearer {token}',
            'Accept': 'application/json',
        }
        response = await http_client.fetch(score_url, headers=headers, raise_error=False)
        assert response.code == 204

在这种情况下，gen.coroutine包装在pytest-asyncio协程内部，而event_loop按预期运行协程！

但是，还有一个小问题使我花了一些时间才意识到。 pytest-asyncio的event_loop固定装置为每个测试创建一个新的事件循环，而pytest-tornado也创建一个新的IOloop。测试仍然失败，但是这次出现了另一个错误。

conftest.py文件现在看起来像这样；请注意，我已经重新声明了event_loop固定装置以使用pytest-tornado io_loop固定装置本身的event_loop（请回想pytest-tornado在每个测试函数上创建一个新的io_loop）：

@pytest.fixture(scope='function')
def event_loop(io_loop):
    loop = io_loop.current().asyncio_loop
    yield loop
    loop.stop()


@pytest.fixture(scope='function')
async def db():
    dbe = await setup_db()
    yield dbe


@pytest.fixture
def app(db):
    """
    Returns a valid testing Tornado Application instance.
    :return:
    """
    app = make_app(db)
    settings.JWT_SECRET = 'its_secret_one'
    yield app

现在我所有的测试工作正常，我回来了一个快乐的人，并对我现在对异步生活方式的更好理解感到自豪。酷！

使用pytest，龙卷风和aiopg进行单元测试失败，任何查询均失败

1 个答案: