python:如何在具有队列的线程之间共享sqlite连接?

时间:2011-07-16 12:04:22

标签: python multithreading sqlite timer queue

我在Arch Linux x86_64上使用Python 3.2.1 我正在尝试使用类似于以下代码的线程定时循环更新sqlite数据库:

import sqlite3
from threading import Timer
from queue import Queue

class DBQueue(Queue):
    def give(self, item):
        self.task_done()
        self.join()
        self.put(item)
        return True


def timer():
    print('A')
    Timer(3, add).start()


def add():
    print('B')
    db = qdb.get()
    cur = db.cursor()
    cur.execute('INSERT INTO Foo (id) VALUES (NULL)')
    qdb.give(db)
    timer()

qdb = DBQueue()
# SOLUTION #1:
# qdb.put(sqlite3.connect(':memory:', check_same_thread=False))
# SOLUTION #2: see Eli Bendersky's answer
qdb.put(sqlite3.connect(':memory:'))
db = qdb.get()
cur = db.cursor()
cur.execute('CREATE TABLE Foo (id INTEGER PRIMARY KEY)')
qdb.give(db)
timer()
不幸的是,

返回:

A
B
Exception in thread Thread-1:
Traceback (most recent call last):
  File "/usr/lib/python3.2/threading.py", line 736, in _bootstrap_inner
    self.run()
  File "/usr/lib/python3.2/threading.py", line 942, in run
    self.function(*self.args, **self.kwargs)
  File "/home/dario/dev/python/prova/src/prova4.py", line 27, in add
    cursor = db.cursor()
sqlite3.ProgrammingError: SQLite objects created in a thread can only be used in that same thread.The object was created in thread id 140037302638336 and this is thread id 140037262886656

仅共享游标不会产生更好的结果:

conn = sqlite3.connect(':memory:')
qdb.put(conn.cursor())

我很确定我根本不了解如何使用队列在线程之间共享数据库,有人可以帮助我吗? 谢谢!

1 个答案:

答案 0 :(得分:2)

您不需要Queue - 只需从两个线程使用到同一数据库的单独连接。请记住,当单独的连接将数据提交到数据库时,您不应期望在排序方面。将其视为您的程序有两个不同的实例同时访问数据库。


如果由于某种原因你觉得你绝对必须共享一个连接,那么试试这个:既然你遇到了从一个线程创建SQLite对象并在另一个线程中使用它们的问题,为什么不委托在单个线程中处理db / connection的任务,并让它通过Queue与其他人通信。更具体地说:

  • 线程DB_thread:“拥有”连接。从其他线程获取队列中的命令,执行它们,将结果放在“结果队列”
  • 线程A,B,C:将“命令”传递到队列中并从“结果队列”中获取结果。

请注意,这些命令不是SQLite对象。