如何确保map任务节点始终是输入拆分节点之一

时间:2013-09-10 15:54:58

标签: hadoop

我正在使用hadoop地图进行图像分析,但是从hadoop的设计中可以采用一些非传统的方式。我正在从NAS而不是HDFS读取图像,并通过map任务调用的预编译二进制文件进行分析。图像位置和密钥存储在一个大文本文件中,并分成多个数据节点。

因此,如果我的输入拆分在节点2,3,4中并且我的地图任务在节点6中运行,那么我的结果会不准确。

我怎样才能确定,hadoop正在调度地图任务,以便地图任务节点始终是输入分割节点之一?

0 个答案:

没有答案