Question

我有一个10gb的用户ID和性别的csv文件，有时会重复。

userID,gender
372,f
37261,m
23,m
4725,f
...

这是我导入csv并将其写入SQLite数据库的代码：

import sqlite3
import csv


path = 'genders.csv'
user_table = 'Users'

conn = sqlite3.connect('db.sqlite')
cur = conn.cursor()

cur.execute(f'''DROP TABLE IF EXISTS {user_table}''')

cur.execute(f'''CREATE TABLE {user_table} (
            userID INTEGER NOT NULL, 
            gender INTEGER,
            PRIMARY KEY (userID))''')

with open(path) as csvfile:
    datareader = csv.reader(csvfile)
    # skip header        
    next(datareader, None)
    for counter, line in enumerate(datareader):
        # change gender string to integer
        line[1] = 1 if line[1] == 'f' else 0

        cur.execute(f'''INSERT OR IGNORE INTO {user_table} (userID, gender) 
                    VALUES ({int(line[0])}, {int(line[1])})''')

conn.commit()
conn.close()

目前，处理1MB文件需要10秒钟（实际上，我有更多列并且还会创建更多表格。）。我不认为可以使用pd.to_sql，因为我想要一个主键。

Answer 1

不是每行使用cursor.execute，而是使用cursor.executemany并一次插入所有数据。

以_list=[(a,b,c..),(a2,b2,c2...),(a3,b3,c3...)......]

格式存储您的值

cursor.executemany('''INSERT OR IGNORE INTO {user_table} (userID, gender,...) 
                    VALUES (?,?,...)''',(_list))
conn.commit()

的信息：

https://docs.python.org/2/library/sqlite3.html#module-sqlite3

优化读取非常大的csv并将其写入SQLite

1 个答案: