如何快速阅读excel?

时间:2012-08-22 13:12:07

标签: python excel sqlite

我有一个67M,126000行的xls文件,我想尽快将它导入sqlite数据库。

现在我有两个用python实现的解决方案:

  1. 使用xlrd读取excel和sqlite3以插入数据库; (花费约28秒
  2. 使用adodbapi读取excel和sqlite3以插入数据库; (花费约33秒
  3. 我希望它可以在20年内完成。您还有其他解决方案吗?编程语言必须是Python或C / C ++,因为我想将它集成到Python程序中。

2 个答案:

答案 0 :(得分:0)

使用LibreOffice。它可以批量模式转换:

subprocess.call(['loffice', '--invisible', '--convert-to', 'csv', file])

值得一试吗?

答案 1 :(得分:0)

使用熊猫来做到这一点。非常快 这里涉及两个步骤。 1.导入Excel文件作为数据框 2.将数据框导出到sql

import pandas as pd
import numpy as np
import sqlite3

conn = sqlite3.connect('database.db')   #Connection to Database

df = pd.read_excel('excel_file.xlsx')   #Reading from excel file

df.to_sql(name='table_of_database', con=conn)  # Writing to SQL
conn.close()

我知道会很快。但请告诉我执行后经过的时间,因为我尚未评估6700万数据。