我有大约100 GB的股票市场数据，格式如下：
datetime open high low close volume
2014-10-02 15:34:00 18.39 18.50 18.32 18.41 5100
2014-10-02 15:35:00 18.41 18.49 18.41 18.49 200
2014-10-02 15:36:00 18.45 18.50 18.45 18.46 600
每个自动收报机都有自己的CSV文件，因此有很多文件（大约10,000个）。我将使用Pandas阅读这些CSV，然后使用df.to_sql将它们写入SQLite数据库。
我想知道这是否是解决此问题的最佳方式，考虑到数据的大小，或者是否有更有效的方法。
作为参考，每个CSV文件介于1-100 MB之间。
编辑： 我不相信这是我的另一个问题的重复问题，在此我要求最有效的方式来自CSV - ＆gt; SQLite，在另一个问题中，我问什么是在SQLite中存储数据以便快速访问的最有效方法。