有没有办法减少Linux作业中的I / O等待时间?

时间:2017-03-31 15:07:24

标签: linux file-handling lsf elapsedtime cpu-time

我正在运行多个并行文件处理过程(最少200个进程),其中每个进程正在读取不同大小的日志(0-50mb)以捕获日志的实时数据。我在16个核心上运行我的作业和8 gb ram Linux机器。

但是在cpu和文件的已用时间过程之间存在巨大的延迟。

你能用一些例子解释为什么有这样的滞后b / w cpu和经过的时间吗?还有什么方法可以减少这些过程的等待时间。

1 个答案:

答案 0 :(得分:0)

你在运行什么发行版?我问,因为一种方法是使用不同的I / O调度程序,但您的发行版可能不支持更改您的调度程序。某些I / O调度程序最适合不同的文件系统和体系结构,因此我建议您查看here以了解不同的调度程序。至于你遇到的差异,老实说我不知道​​发生了什么。

另外,我假设日志文件位于SSD上?