将许多CSV读入SQLite数据库

Question

我有大约100 GB的股票市场数据，格式如下：

datetime             open    high   low     close   volume
2014-10-02 15:34:00  18.39  18.50   18.32   18.41   5100
2014-10-02 15:35:00  18.41  18.49   18.41   18.49   200
2014-10-02 15:36:00  18.45  18.50   18.45   18.46   600

每个自动收报机都有自己的CSV文件，因此有很多文件（大约10,000个）。我将使用Pandas阅读这些CSV，然后使用df.to_sql将它们写入SQLite数据库。

我想知道这是否是解决此问题的最佳方式，考虑到数据的大小，或者是否有更有效的方法。

作为参考，每个CSV文件介于1-100 MB之间。

编辑： 我不相信这是我的另一个问题的重复问题，在此我要求最有效的方式来自CSV - ＆gt; SQLite，在另一个问题中，我问什么是在SQLite中存储数据以便快速访问的最有效方法。