如何导入CSV和Excel数据并将其保存在SQLite数据库中

Question

我想将CSV和Excel数据导入SQLite数据库。有工具可用sqlBulkCopy但它只适用于SQL Server

Answer 1

如果这是一次性导入，您可以使用sqlite3.exe command line实用程序将CSV数据加载到SQLite数据库中（对于Excel文件，它应该在导入前保存为CSV）：

sqlite> .mode csv
sqlite> .import C:/work/somedata.csv tab1

如果使用C＃自动导入，请使用以下包：

• 读取任意大小的CSV文件：CSVHelper
• 阅读Excel文件（仅限open-XML）：EPPlus
• 连接到SQLite数据库：System.Data.SQLite（仅限.NET Framework）或Microsoft.Data.Sqlite（支持net451和.NET Core）

请注意，您不需要使用某种SqlBulkCopy：SQLite是嵌入式数据库引擎，通常的插入提供了足够快的导入大型数据集的方法（每秒40k-80k插入）。不要忘记在事务中执行插入批处理（例如，每行100k行）。

您可以直接使用SQLite ADO.NET连接器或使用NReco.Data之类的库来简化SQL命令准备（提供轻量级RecordSet结构，可用于以有效方式插入许多记录）。 / p>