我有一个或多或少有500万行的数据库。我想使用Weka api从eclipse中的Java程序加载它们作为实例,以便应用数据挖掘技术。但是,如果我尝试加载超过2.5百万,即使我在运行配置中使用-Xmx2048M增加了Eclipse的堆内存,也会出现堆溢出。我的电脑有4GB的RAM,如果我使用更多的内存就会卡住。无论如何,加载250万需要太多时间。
我正在考虑将它们加载到分数中,但我不认为这是最好的主意。
提前致谢。
答案 0 :(得分:0)
你可以做一件事:
转到程序文件' \ Program Files(x86)\ Weka-3-6'然后RunWeka.ini。在记事本中打开它并将文件中间的行 ' maxheap = 512m' 更改为 ' maxheap = 2000m' 。
答案 1 :(得分:0)
我不了解Weka API,但如果您需要从关系数据库到内存加载大量数据,请使用cursor。如果使用JDBC,则应使用Scrollable Reslut Set。