我正在使用带有R的SQLite(包RSQLite
)。导入rSQLite
后,我尝试使用标准的以下命令将500 GB的数据传输到SQL表中:
CREATE TABLE name (
field1 INTEGER,
field2 VARCHAR,
field3 INTEGER,
field4 INTEGER,
field5 VARCHAR,
);
但是,这需要大约3周才能完成。如何加速这个?是否还常用其他选项?
我试图在一秒钟内对200亿行,5列执行大约100次查询。我不使用多台商用机器,而是使用200个线程和1 TB RAM的单个HPC服务器。什么是正确的方法?