用于小型文件的高并发访问的分布式文件系统

Question

有哪些DFS技术可以实现1,000,000个文件的高并发访问（例如，本地1 gbs网络上的10000个远程线程），这些文件只有MB大小范围，但DSF应该为用户提供高并发流？

Answer 1

常见的HPC文件系统（如Lustre或GPFS）通常不能为您描述的方案提供良好的支持，而是针对大文件访问的高带宽进行优化。在HPC环境中，您应该考虑使用IO中间件（如MPI-IO）或高级IO库（如HDF5），而不是直接与文件系统连接。这些库可以隐藏从应用程序优化对特定文件系统的访问的复杂性，哪一个适合取决于应用程序场景的结构。

另一方面，对于高度并发和非结构化的小型访问，您可能希望研究与云相关的技术，例如：谷歌文件系统，分布式键值存储，卡桑德拉，只是为进一步研究提供一些指示。

一般的“文件”抽象和访问方法（POSIX接口）不是为高度并发访问而设计的，这使得难以与接口保持一致并同时提供高并发性。

如果您需要有关适用技术的更具体提示，请提供有关您的用例的更多具体信息。