Question

我发现在重载下我的金字塔网络应用程序抛出 py-postgresql异常，如postgresql.exceptions.ProtocolError。一些搜索显示，py-postgresql不是线程安全的连接不能同时被多个线程使用。

我尝试制作某种池化机制，但我还是得到了 ProtocolErrors :(

我做错了什么？

首先，我创建了多个连接对象：

    for x in range(num_db_connections):
        self.pool.append(Connection(conn_string,x))

池中的每个对象都包含db_lock = threading.Lock()以及与数据库self.conn = postgresql.open( conn_string )的连接

然后我尝试获取连接上的锁并做一些工作。这段代码可以同时由多个线程执行，但我认为不行两个线程可以同时在一个连接上运行work，因为锁。

    time_start = time.time()
    while time.time() - time_start < self.max_db_lock_wait_time:
        for conn in self.pool:
            acquired = conn.db_lock.acquire(False)
            if acquired:
                try:
                        lst = conn.work()
                finally:
                    conn.db_lock.release()
                return lst
        time.sleep(0.05)
    raise Exception('Could not get connection lock in time')

也许我的代码存在缺陷，或者我误解了其性质 py-postgresql的“线程不安全”？拜托，帮助我！

Answer 1

你确定你没有在锁外使用光标对象吗？

只是一个建议：使用队列从/向池中弹出/推送连接对象，而不是使用time.sleep（）和“尝试”锁定。这已经是线程安全的，它有一个超时参数。更有效。特别是如果你有很多线程和几个连接。（当你需要运行10万个查询时，那些微小的睡眠指令会加起来。所有这些都会增加你的响应时间。）

py-postgresql多线程问题

1 个答案: