如何加快创建SQL表? RSQLite,200亿行

时间:2017-01-06 15:08:34

标签: sql sqlite rsqlite bigdata

我正在使用带有R的SQLite(包RSQLite)。导入rSQLite后,我尝试使用标准的以下命令将500 GB的数据传输到SQL表中:

CREATE TABLE name (
 field1 INTEGER,
 field2 VARCHAR,
 field3 INTEGER,
 field4 INTEGER,
 field5 VARCHAR,
 ); 

但是,这需要大约3周才能完成。如何加速这个?是否还常用其他选项?

我试图在一秒钟内对200亿行,5列执行大约100次查询。我不使用多台商用机器,而是使用200个线程和1 TB RAM的单个HPC服务器。什么是正确的方法?

0 个答案:

没有答案