哪个更节省时间？文件存储或SQLite

Question

我正在开发一个firefox扩展，它将用作用户分析和Web个性化引擎。它需要存储TF-IDF相关的网页数据。我的问题是，这会产生更快的简单搜索结果吗？

一个。使用自定义数据结构并将整个数据结构存储在文件中，将其加载到内存并查询它？

OR

湾存储和查询SQLite数据库中的数据？

可以安全地假设其中一个表中有大约250,000行的最坏情况。

Answer 1

您的问题基本归结为：

一个。我应该编写自己的数据存储系统自定义实现吗？

或

湾我应该使用现成的，经过验证的数据存储系统吗？

如果你采用第一种方法，我会说：

• 你显然最终会花时间编写这段代码。您需要权衡这个与在现有库上学习/编写代码所花费的时间
• 随着时间的推移，您将不可避免地开始添加功能。您将不得不不断重新评估添加更多代码的成本，而不是丢弃您放入的工作并使用现有的库
• 您可能会遇到严重的表现或其他问题。当像SQLite这样的东西已经有大量的生产用途来发现这些问题时，你愿意冒这个风险吗？
• 您需要花多少时间处理数据存储导致的错误，使用现成的库可以避免这种错误？

另一种看待这种情况的方法是：为什么不使用SQLite？你的场景有什么问题吗？我什么都想不到。

我当然倾向于从SQLite（或类似的东西）开始。如果它证明不能以某种方式工作，只有在耗尽任何其他现成的替代品后，我才会考虑编写自己的数据存储库。

Answer 2

为什么不能使用像字典或二叉树这样的数据结构。基于搜索，后退，插入和数字的数据结构。删除。