将文件索引到数据库

Question

我需要将很多文件和文件夹索引到数据库。每个工作站大约有1000个文件/文件夹，大约有100个工作站。

我将不断将这些文件同步到数据库，因此我需要能够快速查询数据库以查看文件是否已存在于数据库中。我正在考虑使用MD5散列文件的完整路径并在数据库中索引此散列字段。这是正确的方法吗？给出1-10万条记录会发生哈希冲突吗？

我可以选择MySQL或MongoDB，我倾向于MongoDB，你同意吗？

Answer 1

MySQL使用的标准B +树索引可以满足您的需要，只需确保使用InnoDB而不是MyISAM来避免全局写锁定。

如果您担心冲突，请调查已知不会发生冲突的散列机制 - 请尝试使用MurmurHash或SHA变体。