标签: hadoop mapreduce
我有一个Hadoop集群(版本1.0.3)和一些特定的分析。由于某些原因,地图任务可以决定,通过这个特定节点上的数据运行是合理的。如果是的话,这项工作将进行一些科学分析。 如果没有,那么在另一个节点上重新安排此映射任务尝试会很好。我甚至可以预测哪个节点对于重启map任务是合理的。 我不想使用跳过功能,因为数据不错,不应该跳过。但如果在地图阶段结束时再次处理特定数据,那将是合适的。
你有什么建议吗?
问候