我有一个67M,126000行的xls文件,我想尽快将它导入sqlite数据库。
现在我有两个用python实现的解决方案:
我希望它可以在20年内完成。您还有其他解决方案吗?编程语言必须是Python或C / C ++,因为我想将它集成到Python程序中。
答案 0 :(得分:0)
使用LibreOffice。它可以批量模式转换:
subprocess.call(['loffice', '--invisible', '--convert-to', 'csv', file])
值得一试吗?
答案 1 :(得分:0)
使用熊猫来做到这一点。非常快 这里涉及两个步骤。 1.导入Excel文件作为数据框 2.将数据框导出到sql
import pandas as pd
import numpy as np
import sqlite3
conn = sqlite3.connect('database.db') #Connection to Database
df = pd.read_excel('excel_file.xlsx') #Reading from excel file
df.to_sql(name='table_of_database', con=conn) # Writing to SQL
conn.close()
我知道会很快。但请告诉我执行后经过的时间,因为我尚未评估6700万数据。