Question

我正在开发一个项目，我们使用ThreadPoolExecutor解析一个稍大的文件并异步处理每一行（我们为每一行调用API）。这曾经是同步完成的，我们有一个通过测试套件。但是，现在，在运行测试时，Django的默认测试运行器在teardown_databases中出错：

Traceback (most recent call last):
  File "manage.py", line 34, in <module>
    execute_from_command_line(sys.argv)
  File "/usr/local/lib/python3.5/site-packages/django/core/management/__init__.py", line 367, in execute_from_command_line
    utility.execute()
  File "/usr/local/lib/python3.5/site-packages/django/core/management/__init__.py", line 359, in execute
    self.fetch_command(subcommand).run_from_argv(self.argv)
  File "/usr/local/lib/python3.5/site-packages/django/core/management/commands/test.py", line 29, in run_from_argv
    super(Command, self).run_from_argv(argv)
  File "/usr/local/lib/python3.5/site-packages/django/core/management/base.py", line 294, in run_from_argv
    self.execute(*args, **cmd_options)
  File "/usr/local/lib/python3.5/site-packages/django/core/management/base.py", line 345, in execute
    output = self.handle(*args, **options)
  File "/usr/local/lib/python3.5/site-packages/django/core/management/commands/test.py", line 72, in handle
    failures = test_runner.run_tests(test_labels)
  File "/usr/local/lib/python3.5/site-packages/django/test/runner.py", line 551, in run_tests
    self.teardown_databases(old_config)
  File "/usr/local/lib/python3.5/site-packages/django/test/runner.py", line 526, in teardown_databases
    connection.creation.destroy_test_db(old_name, self.verbosity, self.keepdb)
  File "/usr/local/lib/python3.5/site-packages/django/db/backends/base/creation.py", line 264, in destroy_test_db
    self._destroy_test_db(test_database_name, verbosity)
  File "/usr/local/lib/python3.5/site-packages/django/db/backends/base/creation.py", line 283, in _destroy_test_db
    % self.connection.ops.quote_name(test_database_name))
  File "/usr/local/lib/python3.5/site-packages/django/db/backends/utils.py", line 64, in execute
    return self.cursor.execute(sql, params)
  File "/usr/local/lib/python3.5/site-packages/django/db/utils.py", line 94, in __exit__
    six.reraise(dj_exc_type, dj_exc_value, traceback)
  File "/usr/local/lib/python3.5/site-packages/django/utils/six.py", line 685, in reraise
    raise value.with_traceback(tb)
  File "/usr/local/lib/python3.5/site-packages/django/db/backends/utils.py", line 62, in execute
    return self.cursor.execute(sql)
django.db.utils.OperationalError: database "test_sftpm_db" is being accessed by other users
DETAIL:  There are 10 other sessions using the database.

（我们正在使用10名工人）

我试图在代码中的许多地方手动关闭连接，但无济于事。有没有正确的方法解决这个问题？

Answer 1

这看起来比Postgres更多Django的问题 - 例如，查看此票证：https://code.djangoproject.com/ticket/22420

根据您提供的内容，我发现Django在尝试删除测试数据库之前没有关闭所有测试数据库的连接。在这种情况下，Postges会尝试保护其他会话免受数据丢失的影响，因此它不能在数据库断开连接之前删除/重命名数据库。

如果需要，您可以使用pg_terminate_backend(..)函数和已使用的pg_stat_activity视图手动删除测试数据库：

select pg_terminate_backend(pid) 
from pg_stat_activity 
where
  datname = 'DATABASE_NAME'
;

drop database DATABASE_NAME;

如果由于某种原因，有人非常快速并且设法连接两个命令，drop database将再次失败。在这种情况下，您可以重复它，但在撤销权限之前从public连接到此数据库 - 这将阻止与它的连接：

revoke connect on database DATABASE_NAME from public;

...然后重复上述操作。

Answer 2

确保使用线程时正在代码中调用{{1}}。这为我解决了这个问题，而其他提议的解决方案（测试方法的装饰器，更改数据库设置，如上面尼克所示的数据库功能，重新启动postgres）却没有。 Useful example

Answer 3

与数据库的连接是线程本地的。我最终通过向执行程序返回的每个未来添加回调来解决这个问题。

from django.db import connections

def on_done(future):
    # Because each thread has a connection, so here you can call close_all() to close all connections under this thread name.
    connections.close_all()

def main():
    # ...
    with ThreadPoolExecutor() as executor:
        while True:
            future = executor.submit(do, get_a_job())
            future.add_done_callback(on_done)

在此处找到更多信息：https://www.programmersought.com/article/3618244269/

另一个可能是问题的事情是您正在继承 TestCase，它在您的测试中持有全局锁。子类化TransactionTestCase 将解决此问题并允许您的测试可能产生的任何线程与数据库进行通信

Answer 4

我遇到了类似的问题，并通过使用django.test.testcases.TransactionTestCase作为测试类的超类来解决了这个问题

Answer 5

在我的 PyCharm（运行过程）+ postgres db 情况下，我通过运行以下命令对其进行了修复：

1。以对db具有正确权限的用户身份登录，在我的情况下，默认为“ postgres ”。

$ psql -h localhost -U postgres -W

2。然后使用命令：

删除所有与现有数据库的连接，在本例中为“ mydbname ”

# select pg_terminate_backend(pid) from pg_stat_activity where datname='mydbname';

3。然后只需按常规方式单击“运行”按钮PyCharm。

使用带有Django的ThreadPoolExecutor时，“其他用户正在访问数据库”错误

5 个答案: