如何在hadoop分布式系统中控制不同从站的文件分配?

时间:2011-09-21 10:31:31

标签: hadoop

  1. 如何在hadoop分布式系统中控制不同从站的文件分配?
  2. 是否可以在hadoop中同时写入2个或更多文件作为地图缩减任务?
  3. 我是hadoop的新手。这对我很有帮助。 如果你知道请回答。

1 个答案:

答案 0 :(得分:0)

这是我对#1的答案:

您无法直接控制地图任务在群集中的位置或群集中文件的发送位置。 JobTracker和NameNode分别处理这些。 JobTracker将尝试将地图任务发送为本地数据以提高性能。 (我不得不猜测你对你的问题意味着什么,如果我没有把它弄好,请详细说明)

这是我对#2的答案:

当你想从一个reducer中写出多个文件时,

MultipleOutputs就是你要找的东西。