Question

我遇到了一个奇怪的情况。我正在为我的程序编写一些测试用例。根据喜好，该程序可编写为sqllite或postgresqul。现在我正在使用unittest编写测试代码。基本上我正在做的事情：

def setUp(self):
    """
        Reset the database before each test.
    """
    if os.path.exists(root_storage):
        shutil.rmtree(root_storage)
    reset_database()
    initialize_startup()
    self.project_service = ProjectService()
    self.structure_helper = FilesHelper()
    user = model.User("test_user", "test_pass", "test_mail@tvb.org",
                       True, "user")
    self.test_user = dao.store_entity(user)

在setUp中我删除了存在的任何文件夹（由某些测试创建）然后我重置我的数据库（基本上删除表级联）然后我再次初始化数据库并创建一些将用于测试的服务。

def tearDown(self):
    """
        Remove project folders and clean up database.
    """
    created_projects = dao.get_projects_for_user(self.test_user.id)
    for project in created_projects:
        self.structure_helper.remove_project_structure(project.name)
    reset_database()

除了创建服务之外，拆除做同样的事情，因为这个测试模块是与其他模块相同的套件的一部分，我不希望某些测试遗留下来。

现在我用sqllite测试了所有测试。使用postgresql我遇到了一个非常奇怪的情况：在执行中的某个时刻，实际上不同于运行到一小部分运行（一个或两个额外的调用），程序就停止了。我的意思是没有生成错误，没有抛出异常，程序就停止了。

现在我唯一可以想到的是，不知怎的，我忘了在某个地方打开的连接，在我超时之后发生了什么事情。但是我有很多联系，所以在我开始讨论所有代码之前，我会很感激一些建议/意见。

什么可能导致这种行为？从哪里开始看？

此致波格丹

Answer 1

基于PostgreSQL的应用程序冻结，因为PG相当积极地锁定表，特别是如果在挂起的事务中打开任何连接，它将不允许DROP命令继续，该事务已以任何方式访问该表（包括SELECT）。

如果您使用的是unix系统，命令“ps -ef | grep'post'”将显示所有Postgresql进程，您将看到当前命令的状态，包括挂起的“DROP TABLE”或不管是冻结了什么。如果从pg_stat_activity视图中选择，也可以看到它。

因此，关键是要确保没有待处理的事务 - 这意味着在DBAPI级别，任何结果游标都将关闭，并且当前打开的任何连接都会调用rollback()，或者以其他方式显式关闭。在SQLAlchemy中，这意味着任何具有挂起行的结果集（即ResultProxy）已完全耗尽，并且任何Connection个对象都已close() d，它们将它们返回到池并调用{{1在底层DBAPI连接上。你想确保有某种无条件的拆解代码，以确保在发出任何DROP TABLE类型的命令之前发生这种情况。

就“我有很多联系”而言，你应该控制住它。当SQLA测试套件运行其3000次测试时，我们确保我们完全控制连接，并且通常一次只打开一个连接（仍然，在Pypy上运行有一些仍然导致PG挂起......很难。你可以使用一个名为rollback()的池类来确保只有一个连接一次被检出，否则会引发信息性错误（显示它被检出的位置）。

Answer 2

我发现此问题的一个解决方案是在尝试调用db.session.close()之前调用db.drop_all()。这将在删除表之前关闭连接，防止Postgres锁定表。

查看对问题here进行更深入的讨论。

python sqlalchemy + postgresql程序冻结

2 个答案: