Question

概述
我有一个关系MySQL InnoDB数据库。我目前有代码使用Python 2.6.6中的peewee ORM将数据添加到我的数据库。问题是，由于我的所有外键，我最终每个数据点执行五个SELECT和（最坏情况）五个INSERT语句。可以想象，当我尝试添加5,000,000个左右的数据点（40 MiB左右的数据）时，由于所有的交易，它需要相当长的时间。

示例
这是一个虚拟示例，用于演示我要做的事情：

import csv
import peewee as pw
db = pw.MySQLDatabase(example, **{'passwd': 'example', 'host': 'example', 'port': 3306, 'user': 'example'})

class BaseModel(pw.Model):
    class Meta:
        database = db
class Users(BaseModel):
    User      = pw.PrimaryKeyField(db_column = 'User_ID')
    User_Name = pw.CharField(db_column = 'User_Name', max_length = 50)
    class Meta:
        db_table = 'users'
class Pets(BaseModel):
    Pets     = pw.PrimaryKeyField(db_column = 'Pet_ID')
    Pet_Name = pw.CharField(db_column = 'Pet_Name', max_length = 50)
    User     = pw.ForeignKeyField(db_column = 'User_ID', rel_model = Users)
    class Meta:
        db_table = 'pets'

def add_measurement(user_name, pet_name):
    # Add user
    try:
        self.dbo_users = Users.get(Users.User_Name == user_name)
    except Users.DoesNotExist:
        self.dbo_users = Users.create(User_Name = user_name)
    # Add pet and link to user
    try:
        self.dbo_pets = Pets.get(Pets.User == self.dbo_users.User,
                                 Pets.Pet_Name == pet_name)
    except Pets.DoesNotExist:
        self.dbo_pets = Pets.create(User = self.dbo_users.User,
                                    Pet_Name = pet_name)

db.connect()
example_data_file = r'C:\users_pets.csv'

# Add all data in CSV file to database, assume first row == header, all other
# rows are data, with the format of: user_name, pet_name
with open(example_data_file, 'rb') as f:
    reader = csv.reader(f)
    reader.next() # Skip header
    for row in reader:
        add_measurement(row[0], row[1])

问题
在该基本示例中，输入文件中的每一行使用两个SELECT语句和最多两个INSERT语句。对于非常大的文件，将所有这些数据放入数据库需要花费大量时间。

我想要一些方法来读取输入文件的块，然后执行一个INSERT语句将所有数据批量转储到数据库中。由于我不知道所有的FK关系，我仍然需要做所有这些SELECT语句;但是，因为我的所有FK都只是自动递增，所以我可以手动跟踪它们。

我最喜欢用小便做这件事;但是，我也对纯SQL解决方案持开放态度。我想我可以构建我试图在内存中插入的所有数据，然后立即将其全部转储。使用这种方法，我还需要检查除数据库之外的任何FK关系的内存内容。

基本上，我正在寻找采用大量数据并将其转储到数据库中的“最快”方法。非常感谢任何输入，我现在几乎陷入困境。

解决方案
我能够为客户提出一个比上述实施速度快2,000倍+的解决方案。我最终构建了一个包含所有数据的CSV文件，将其复制到服务器，然后使用LOAD DATA INFILE将该数据存储到临时表中。虽然这在技术上没有正确的数据库中的数据，但它允许用户快速转储数据，而不必等待它完成。然后我有一个存储过程来处理实际的数据插入。这个解决方案有点复杂，但它确实运行良好。

Python peewee一次将多个记录插入多个表中

0 个答案: