标签: hadoop
我正在使用hadoop地图进行图像分析,但是从hadoop的设计中可以采用一些非传统的方式。我正在从NAS而不是HDFS读取图像,并通过map任务调用的预编译二进制文件进行分析。图像位置和密钥存储在一个大文本文件中,并分成多个数据节点。
因此,如果我的输入拆分在节点2,3,4中并且我的地图任务在节点6中运行,那么我的结果会不准确。
我怎样才能确定,hadoop正在调度地图任务,以便地图任务节点始终是输入分割节点之一?