我有一个10GB大小的数据集,以及500万行。它在CSV文件中。如何以最短的时间有效地将这些数据加载到表中。
任何帮助将不胜感激
答案 0 :(得分:0)
使用HSQLDB时,必须在加载数据之前在表上创建约束和索引。
在加载几千行的每个块之后提交数据。
如果表是CACHED(基于磁盘)表,并且您可以使用大量内存来加载数据,那么请按照指南设置大缓存参数并启动具有大量最大内存分配的Java进程。
与表格上的约束/索引数量成比例需要很长时间。
使用PreparedStatement可以加快速度,但不会太多。