用图表处理大量数据

Question

我有一个只抓取一个网站的抓取工具。但一个网站可以有数千页。 每个页面都是一个顶点，我使用JGraphT。

但如果我抓住一个巨大的网站，我会在一段时间后得到一个StackOverflowError。

在这种情况下，如何处理大量数据？ 我必须使用数据库吗？ 有一个库可以处理数据库中这种特定类型的数据（顶点，边缘......）吗？

由于

Answer 1

您可能希望使用Neo4j这是一个高性能的NOSQL图形数据库。

Answer 2

你可以看一下以下可能有帮助：

1. bigdata®
2. TITAN