使用odo将数据迁移到SQL

时间:2015-10-24 07:07:24

标签: python sql sqlite blaze

我有一个3 GB的大型CSV文件,我想使用Blaze调查数据,选择我有兴趣分析的数据,最终目标是将数据迁移到一个合适的计算后端,如SQlite,PostgresSQL等。我可以将这些数据导入Blaze并且工作得很好,但这是我遇到问题的部分:

db = odo(bdata, 'sqlite:///report.db::report')`

我不确定如何正确创建一个用sqlite打开的db文件。

1 个答案:

答案 0 :(得分:9)

您可以使用此处列出的说明直接从CSV转到sqlite。 http://odo.pydata.org/en/latest/perf.html?highlight=sqlite#csv-sqlite3-57m-31s 我认为你错过了这里警告的列名:http://odo.pydata.org/en/latest/sql.html?highlight=sqlite

dshape = discover(resource('report_2015.csv'))
t = odo('report_2015.csv', 'sqlite:///report.db::report', dshape=dshape)