python Storm ORM并避免重复

时间:2012-10-23 17:47:58

标签: python orm storm-orm

我是python的新手,我刚开始使用Storm和python作为基本的ORM。

我在文件中有很多数据并且有一些重复,为了识别它们,您可以看到某些行的ID是重复的。

我想将它们插入到我的数据库中,我确实将id设置为主键,因此它不能重复。 我希望我的代码忽略在表中插入数据,如果它是重复的。但相反,它只是失败了_mysql_exceptions.IntegrityError: (1062, "Duplicate entry '75083587476530022' for key 'PRIMARY'")

这是我班级的定义

from storm.locals import *

class Board(object):
  __storm_table__ = 'boards'
  id = Int(primary=True)
  description = Unicode()
  category = Unicode()

  def __init__(self, val): 
    self.id = val['id']
    self.description = val['description']
    self.category = val['category']

并创建一行:

database = create_database('mysql://root@/mydb') 
store = Store(database)
data = {u'description': u'', u'id': 165366686256470180, u'category': u'Children'}
store.add(Board(data))
store.commit()
store.flush()

我在MYSQL中也知道我能做什么

ON DUPLICATE KEY UPDATE o

任何想法如何让Storm使用它?

2 个答案:

答案 0 :(得分:2)

我会编写一个python脚本,在SQL插入之前删除重复。否则,您必须提交每一行,捕获异常并忽略该行。这不好。拥有干净的数据并一次性提交所有数据会更好。 SQL实际上只关心表操作,而不关心数据完整性。

答案 1 :(得分:0)

如果你想让数据库处理,我建议:

from MySQLdb import IntegrityError
# You connected to DB and have your store
# You loaded your data inside data_list
for data_row in data_list:
    try:
        store.add(Board(data_row))
        store.flush() # This is enough to raise any DB error
    except IntegrityError:
        continue # You can probably log something here
store.commit()