Question

我想从CSV格式的文件加载大约200万行到数据库并运行一些SQL语句进行分析，然后删除数据。文件大小为2GB。数据是Web服务器日志消息。做了一些研究，发现H2内存数据库似乎更快，因为它将数据保存在内存中。当我尝试加载数据时因为32位java而得到OutOfMemory错误消息。计划尝试使用64位java。

我正在寻找所有优化选项来快速加载并运行SQL。

TEST.SQL

CREATE TABLE temptable (
  f1 varchar(250) NOT NULL DEFAULT '',
  f2 varchar(250) NOT NULL DEFAULT '',
  f3 reponsetime NOT NULL DEFAULT ''
  ) as select * from CSVREAD('log.csv');

在64位java中运行如下：

java -Xms256m -Xmx4096m -cp h2*.jar org.h2.tools.RunScript -url 'jdbc:h2:mem:test;LOG=0;CACHE_SIZE=65536;LOCK_MODE=0;UNDO_LOG=0' -script  test.sql

如果在AIX中可以使用任何其他数据库，请告诉我。

感谢

Answer 1

如果CSV文件是2 GB，那么在使用纯内存数据库时，它将需要超过4 GB的堆内存。确切的内存要求很大程度上取决于数据的冗余程度。如果相同的值反复出现，那么数据库将需要更少的内存，因为常用对象被重用（无论它是字符串，长，时间戳，......）。

请注意，使用LOCK_MODE=0时不需要UNDO_LOG=0，LOG=0和create table as select。此外，CACHE_SIZE在使用mem:前缀时没有帮助（但它对内存文件系统有帮助）。

我建议首先尝试使用内存文件系统（memFS:而不是mem:），这比mem:略慢，但通常需要更少的内存：

jdbc:h2:memFS:test;CACHE_SIZE=65536

如果这还不够，请尝试压缩的内存模式（memLZF:），这种模式再慢一些，但内存使用的更少：

jdbc:h2:memLZF:test;CACHE_SIZE=65536

如果这仍然不够，我建议尝试常规持久模式，看看它有多快：

jdbc:h2:~/data/test;CACHE_SIZE=65536

H2数据库加载csv数据的速度更快

1 个答案: