如何确保shdfs Centralized Cache正常工作

Question

我只是想知道hdfs dfs copyToLocal <file1> <file2>是否是测试hdfs读取缓存配置正确的好方法。

在我的实验中，在将<file1>目录添加到hdfs缓存后，我没有看到将1gb <file1>复制到本地目录的合理改进。在<file1>添加到缓存之前和之后，完成复制的时间约为17秒。

验证

<file1>是否通过listDirective -stats命令添加到缓存中。

感谢任何帮助。

Answer 1

包含hdfs dfsadmin -report的输出会很有用。

增加ulimit并设置dfs.datanode.max.locked.memory

http://hadoop.apache.org/docs/r2.3.0/hadoop-project-dist/hadoop-hdfs/CentralizedCacheManagement.html