在将一百万条记录一次插入数据库之前，我应采取哪些措施？

Question

我有一个解析网站内容的java代码，并将html表的每一行插入到我的oracle数据库中。网站有大约70000个我要解析的页面，每个页面都有一个非常简单的URL来循环，例如：

http://website.com/contents?id=1

因此，当我将Id更改为2时，它基本上转到下一页。每个页面平均有14-15行html表。

我还创建了一个日志（通过java.util.logging.Logger）文件来查看插入是否有问题。

我尝试了直到第12页（大约150条记录），它没有问题，但没有尝试过70000页（1.000.000条记录）。我在我的家用电脑和oracle express版本上这样做。在我尝试一次插入1.000.000条记录之前，我应该考虑什么？

Answer 1

首先，Oracle XE版本有大小限制。如果插入超过该大小，则无法添加行。

对于多个会话的大量插入，您可以增加表FREELISTS大小。如果不需要生成REDO，则可以使用APPEND提示。

如果您的应用程序可以执行，您可以在平面文件中导出数据，然后运行Sql * Loader将所有数据导入表中。您可以以编程方式执行此操作。