广泛数据挖掘的服务器规范

Question

我正在运行一个数据挖掘项目，该项目解析大约2 GB的RDF数据集以生成图形（大约100 mb）并保存为python pickle。

可悲的是，由于内存有限（内存错误），我目前使用4GB RAM的Dell驱动程序无法保存图形。我尝试过其他方法来保存它像gml或明文或邻接但似乎我需要更多的RAM我想。

我应该继续购买一台内存大约12GB的优质服务器，还是其他因素会加速解析和搜索（比如多核？在脚本中使用多个线程？）。

如果是h / w，你可以建议购买一些好的服务器型号，因为我不擅长处理硬件规格。我的预算是3500美元左右。

Answer 1

2GB大的数据集，输出大约100MB并不是很大。如果您有4GB的物理RAM并启用了交换，则由于物理硬件限制，您不应该出现内存不足错误。

您使用什么软件处理数据并呈现结果？你在用什么操作系统？在导出时出现内存不足的情况下，您使用的软件可能更多是/ bug的限制。