使用Weka API加载5M实例时出现问题

时间:2014-05-27 07:02:31

标签: java eclipse api heap weka

我有一个或多或少有500万行的数据库。我想使用Weka api从eclipse中的Java程序加载它们作为实例,以便应用数据挖掘技术。但是,如果我尝试加载超过2.5百万,即使我在运行配置中使用-Xmx2048M增加了Eclipse的堆内存,也会出现堆溢出。我的电脑有4GB的RAM,如果我使用更多的内存就会卡住。无论如何,加载250万需要太多时间。

我正在考虑将它们加载到分数中,但我不认为这是最好的主意。

提前致谢。

2 个答案:

答案 0 :(得分:0)

你可以做一件事:
    转到程序文件' \ Program Files(x86)\ Weka-3-6'然后RunWeka.ini。在记事本中打开它并将文件中间的行 ' maxheap = 512m' 更改为 ' maxheap = 2000m'

答案 1 :(得分:0)

我不了解Weka API,但如果您需要从关系数据库到内存加载大量数据,请使用cursor。如果使用JDBC,则应使用Scrollable Reslut Set