标签: caching hadoop hdfs hadoop-streaming
我需要开发一个中间层应用程序来从HDFS存储库获取所请求的文件。这很容易。但是,我正在考虑如何为进一步的请求缓存这些请求的文件,以防止从HDFS一次又一次地查询该文件。
为此,我应该使用哪种最佳缓存选项?
请注意,这些文件的大小非常大。 (靠近GBs)
答案 0 :(得分:1)
HDFS支持缓存,更多信息here。不确定此功能的引入版本。