data_input=open(ratingsfilepath,'r')
for row in data_input:
cur_load.execute("INSERT INTO "+ratingstablename+" VALUES (%s, %s, %s)", (row.split('::')[0],row.split('::')[1],row.split('::')[2]))
我在.dat文件中有1000万条记录我正在使用python脚本将它们加载到表中。但是加载它们需要将近1个小时。有什么可以减少时间
答案 0 :(得分:1)
无论如何,插入1000万条记录需要很长时间,但您仍然可以通过使用python脚本将数据文件转换为与表结构相对应的CSV格式来加快速度。然后,您可以使用COPY FROM sql命令一次性将其加载到表中。
使用复制速度远远超过1000万次插入。