任何人都知道存储和可视化具有数百万边的大图的最有效方法吗?
我知道Gephi。但它无法想象这么大的数据集。(至少在我的笔记本电脑上有4G内存。它总是崩溃或内存不足。)有没有其他软件可以处理它?或者可能还有其他关于Gephi的技巧来可视化这么大的数据集。
我使用python lib,NetworkX来处理图形,它运行良好。但存储图表是另一个问题。到目前为止,我使用文本文件和二进制文件pickle来存储图形。没事。但我的研究还涉及节点对之间的计算,这可能高达1亿对。计算它们需要时间,但存储和查询它们似乎需要更多。我尝试传统的数据库,比如Postgre,但对于商店和查询来说都很慢。我还尝试使用NoSQL db,Neo4j,用于存储图形数据,但是将整个图形和计算结果转储到它中是非常慢的。大约花了20个小时来存储2/5的数据然后我从一个地方得到了一个错误。有人可以推荐一些其他强大的工具来摆脱这个吗?
另外,我的老板让我在图表上构建我的研究结果的在线可视化版本。从图上的前一次经验来看,我不认为常见的js库可以处理如此大的数据集。我知道我确实需要为可视化和交互构建一些数据层次结构,但是我应该采用什么样的架构或框架,从数据库到浏览器端库?
PS我不是一个原创的计算机科学家,因此我对这些技术的了解有限,滥用术语可能是不可避免的。欢迎任何建议。