如何为isilon存储设置用户吞吐量限制

Question

用户可以在秃鹰上运行多个进程并访问isilon存储。有些可能会以他人为代价滥用读取吞吐量。因此，可以说isilon可以处理10GB / S的读取速度。如果我有3个用户，每个进程有100个进程试图读取1GB / S，则其余用户将非常饿。存在什么样的解决方案？单主机限制不起作用，因为用户通读了秃鹰。

Answer 1

在HTCondor中，有两种方法可以完成此操作，具体取决于您的工作和系统的性质。

首先，您可以使用“并发限制”功能来全局限制所有用户中正在运行的作业数量。每个作业将需要声明它正在使用文件服务器带宽的一定百分比。在中央管理器配置中，您可以设置限制，例如

IPSILON_LIMIT = 1000

然后，每个作业可以通过添加到其作业说明中来声明他们使用了一定数量的带宽

concurrency_limits = ipsilon：100

声明此作业将使用1000个可用带宽中的100个。

当文件可以一次从远程文件服务器传输到本地暂存目录，在本地操作并在作业完成后传输回时，第二种方法可以工作。如果这符合您的使用模型，则可以查看自定义文件传输插件。 HTcondor然后将文件从服务器复制到本地暂存目录，但是可以按计划限制这些活动传输的数量。