Cray建议使用环回设备在带有Lustre文件系统的HPC群集上运行Spark [1]。问题是大多数HPC群集不为其用户提供对回送设备的访问。因此，我想知道是否存在一个仅在Lustre广告上打开一个大文件的库，让我们使用将该大文件视为文件系统，然后我们可以利用对该文件的并行文件访问。
这样，我们可以拥有并行IO，同时拥有适当的分区，并且每个分区只有一个文件。搜索没有显示任何内容。
[1] http://wiki.lustre.org/images/f/fb/LUG2016D2_Scaling-Apache-Spark-On-Lustre_Chaimov.pdf
答案 0 :(得分：1)
是否可能在很大程度上取决于您的应用程序。有可能创建例如。使用mke2fs作为常规用户将其保存为常规文件中的ext4文件系统映像，并且可以通过链接到应用程序中的libext2fs（可能是单线程）或通过用户空间中的fuse2fs来访问它。可能是fuse2fs仍然需要root权限才能设置，但我不是很肯定，但是此后它的行为就像普通的文件系统，不需要块设备。