用Java存储数据。文本文件，csv或其他方法？

Question

我正在创建一个用于从多个网址抓取链接的工具。我想存储这些信息，然后测试已删除链接的状态。

我期待必须测试很多链接，大约60,000个。所以我遇到的问题是决定如何存储测试链接。

我正在考虑做的是为我将要抓取的网址创建文本文件。我将不得不为我要抓取的URL创建大约40个文本文件（我正在抓取的URL是相同的URL，只是区域化的。）

• 创建大量文本文件会导致性能问题吗？
• 我最好将URL存储在数组中，然后编写 数组到文本文件，或者我应该只写文本的URL 我去的文件？或者有更好的方法吗？
• 有没有比存储在文本文件中更好的方法？ （我不是 想要使用数据库，但如果有一个很好的情况，我可以 确信）

Answer 1

imho最简单的方法是使用serialization来保存您的信息。例如，序列化Map<String, Set<String>>个网址。多个文件也应该工作，没有任何严重的性能影响。但实施时间稍长一些

另一种方法 - 在mongolab上注册并使用免费帐户。 （这不是广告，我只是喜欢这个服务）你不需要安装任何东西，只需下载mongo驱动程序并继续