如何使用HDFS中的集中式缓存管理来验证性能的提升

时间:2014-08-13 10:23:59

标签: hadoop hdfs bigdata yarn hadoop2

(单机上) 我安装了Hadoop 2.4.1。并编写一个程序,用于读取28.6 MB的序列文件,将此程序重复10,000次。 然后得到结果:

    Without  Centralized Cache
    Run              Time(in ms)
    1                19840
    2                15096
    3                14091
    4                14222
    5                14576


    With Centralized Cache
    Run              Time(in ms)
    1                19158
    2                14649
    3                14461
    4                14302
    5                14715

我还写了一个Map-reduce Job并迭代了25次 结果:

    Without  Centralized Cache
    Run              Time(in ms)
    1                909265
    2                922750
    3                898311


    With Centralized Cache
    Run              Time(in ms)
    1                898550
    2                897663
    3                926033

未找到使用Centralized Cache和不使用Centralized Cache的性能之间的主要区别。 如何分析使用集中式缓存提高性能? 建议使用集中缓存查找提高性能的任何其他方法。

0 个答案:

没有答案