我有一个解析网站内容的java代码,并将html表的每一行插入到我的oracle数据库中。网站有大约70000个我要解析的页面,每个页面都有一个非常简单的URL来循环,例如:
http://website.com/contents?id=1
因此,当我将Id更改为2时,它基本上转到下一页。每个页面平均有14-15行html表。
我还创建了一个日志(通过java.util.logging.Logger)文件来查看插入是否有问题。
我尝试了直到第12页(大约150条记录),它没有问题,但没有尝试过70000页(1.000.000条记录)。我在我的家用电脑和oracle express版本上这样做。在我尝试一次插入1.000.000条记录之前,我应该考虑什么?
答案 0 :(得分:1)
首先,Oracle XE版本有大小限制。如果插入超过该大小,则无法添加行。
对于多个会话的大量插入,您可以增加表FREELISTS
大小。如果不需要生成REDO
,则可以使用APPEND
提示。
如果您的应用程序可以执行,您可以在平面文件中导出数据,然后运行Sql * Loader将所有数据导入表中。您可以以编程方式执行此操作。