我正在运行一个Pig作业，它使用HBaseStorage从HBase（几列）加载大约800万行。工作顺利完成并且似乎产生了正确的结果但是当我查看工作跟踪器中的工作细节时，它表示创建了50个映射任务，其中28个成功，22个被杀死。减少运行良好。通过查看被杀死的地图任务的日志，对于我为什么任务被杀死没有什么明显的。事实上，成功和失败任务的日志实际上是相同的，并且这两项任务都需要一些合理的时间。为什么所有这些地图任务都被创建然后被杀死？它是正常的还是有问题的迹象？
答案 0 :(得分：1)
这听起来像Hadoop中的Speculative Execution。它在几个节点上运行相同的任务，并在至少一个节点完成时杀死它们。请参阅本书的解释：https://www.inkling.com/read/hadoop-definitive-guide-tom-white-3rd/chapter-6/task-execution