Question

我正在使用以下脚本将每天更新的CSV文件中的数据复制到Mysql数据库中。

csv_data = csv.reader(open('test.csv'))
next(csv_data, None)
for row in csv_data:  
    with connection.cursor() as cursor:
         cursor.execute(("INSERT INTO test(`1` ,`2`,`3` .......) VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"), (row[0]........))

该CSV当前有40,000多行，并将继续增长，这意味着需要花费数小时的时间。

我知道我可以在数据库中添加一个唯一的标识符，它将停止重复并执行INSERT IGNORE来跳过它，但是我还有其他办法可以加快过程吗？

Answer 1

“ INSERT IGNORE”将解决您的问题。

从每日CSV文件更新MYSQL-跳过已导入

1 个答案: