在将一百万条记录一次插入数据库之前,我应采取哪些措施?

时间:2016-04-30 10:13:05

标签: java oracle jdbc

我有一个解析网站内容的java代码,并将html表的每一行插入到我的oracle数据库中。网站有大约70000个我要解析的页面,每个页面都有一个非常简单的URL来循环,例如:

http://website.com/contents?id=1

因此,当我将Id更改为2时,它基本上转到下一页。每个页面平均有14-15行html表。

我还创建了一个日志(通过java.util.logging.Logger)文件来查看插入是否有问题。

我尝试了直到第12页(大约150条记录),它没有问题,但没有尝试过70000页(1.000.000条记录)。我在我的家用电脑和oracle express版本上这样做。在我尝试一次插入1.000.000条记录之前,我应该考虑什么?

1 个答案:

答案 0 :(得分:1)

首先,Oracle XE版本有大小限制。如果插入超过该大小,则无法添加行。

对于多个会话的大量插入,您可以增加表FREELISTS大小。如果不需要生成REDO,则可以使用APPEND提示。

如果您的应用程序可以执行,您可以在平面文件中导出数据,然后运行Sql * Loader将所有数据导入表中。您可以以编程方式执行此操作。