文件的缓存选项

时间:2015-06-18 09:49:33

标签: caching hadoop hdfs hadoop-streaming

我需要开发一个中间层应用程序来从HDFS存储库获取所请求的文件。这很容易。但是,我正在考虑如何为进一步的请求缓存这些请求的文件,以防止从HDFS一次又一次地查询该文件。

为此,我应该使用哪种最佳缓存选项?

请注意,这些文件的大小非常大。 (靠近GBs)

1 个答案:

答案 0 :(得分:1)

HDFS支持缓存,更多信息here。不确定此功能的引入版本。