我非常绝望,因为我尽我所能使它工作但没有成功......我已经创建了一个池,它正在处理一些文本行,然后将它们插入到数据库中。问题是它没有插入表中。
我知道这可能是因为多个工作人员试图修改数据库,但我已经尝试了很多东西来避免这种情况。
例如this(这是将url插入索引表的方法):
def insert_into_index(self, url):
self.lock.acquire()
self.cur.execute('INSERT INTO index VALUES(?)', (url,))
self.conn.commit()
self.lock.release()
或者这个(方法的每个新用法都有它自己的光标):
def insert_into_index(self, url):
cur = self.conn.cursor()
cur.execute('INSERT INTO index VALUES(?)', (url,))
self.conn.commit()
我创建池的代码段:
""" CREATE A POOL """
pool = Pool(50)
for category in categories[1:2]:
task = pool.apply_async(index, args=(category.strip('\n'),))
task.get()
pool.close()
pool.join()
""" POOL END """
Index()是一个创建类leaf(text)
实例的方法,它使用文本做一些事情,获得strings
的列表并尝试insert
它们进入数据库。
class leaf():
def __init__(self, url):
self.url = url
self.results = self.get_all_hrefs(url)
self.dbm = database_file.manager()
for res in self.results:
self.dbm.insert_into_index(res)
但我在表索引中没有任何内容。我已经尝试过我所知道的一切但没有成功。你能给我一个建议吗?
编辑:当我将task.get()
附加到循环中时,这是一个错误。
line 86, in execute
task.get()
File "C:\Python27\lib\multiprocessing\pool.py", line 567, in get
raise self._value
sqlite3.OperationalError: near "index": syntax error
但我觉得它没有说明什么,因为语法与另一个顺序调用并且有效的方法完全相同。