亚马逊实例上的磁盘缓存/性能问题

时间:2018-12-27 17:21:37

标签: amazon-web-services caching disk-io

我观察到EC2实例上的某些行为,我认为这是由于磁盘缓存引起的。基本上: 我有一个计算任务,需要依次访问大量数据(〜60个1GB文件)。我已将文件包含到我的亚马逊图像中。我还使用mpi启动约30个进程来同时访问不同的文件。顺便说一句,该程序是受计算限制的,但是磁盘IO占用了大量的运行时间。我注意到,当我启动实例并在第一次尝试中执行计算时,它的运行速度非常慢。 top命令将显示进程不时挂起,CPU使用率约为60%。但是,一旦运行完成,如果我再开始运行,则速度要快得多,CPU约为99%。那是因为我的数据仍在网络驱动器(EBS)上,并且已自动加载到本地实例磁盘缓存(SSD驱动器?)吗?我在C5n.18xlarge上运行它,但仅列为EBS。 有没有人有类似的经历?还是其他解释?

1 个答案:

答案 0 :(得分:1)

几乎可以肯定是磁盘缓存,但是在RAM中,而不是本地SSD中。

c5.18xl实例类型具有192 GB的RAM。因此,根据您要对该RAM进行的其他处理,完全有可能将60 GB的数据文件读入高速缓存中而永不丢失。

有关更多信息:https://www.tldp.org/LDP/sag/html/buffer-cache.html