在单节点Cluster上使用分布式缓存和FileReader

Question

是否需要使用多个节点群集或单个节点群集才能使用分布式缓存。 FileReader可以通过提供文件路径直接打开存储在HDFS中的文件。

Answer 1

实际上不是必须的。使用分布式缓存的主要目的是使资源可用于在整个集群中的所有节点上运行的所有映射器或缩减器，这在单个机器上没有多大意义。在单个节点hadoop集群上，你可以在mapreduce代码中拥有一个全局变量，这样做就可以了。