我可以将分布式数据库用于爬虫吗？

Question

我可以为我的WebCrawler使用分布式数据库，所有可用的开源分布式数据库是什么？我可以使用MySQL作为我的分布式数据库吗？如何存储数据量？

Answer 1

MongoDb可能适合您。它允许分片和复制。

Answer 2

如前面评论中所述：使用Sphinx（例如）。