在hadoop中，jobtracker tasktracker之间有什么区别和关系？

Question

正如标题所说，在hadoop中，jobtracker tasktracker之间有什么区别和关系？有人可以向我解释，谢谢你的帮助！

Answer 1

职位追踪 -

• JobTracker进程在单独的节点上运行，通常不在DataNode上运行。
• JobTracker是MRv1中MapReduce执行的基本守护进程。它由MRv2中的ResourceManager / ApplicationMaster替换。
• JobTracker从客户端收到MapReduce执行请求。
• JobTracker与NameNode通话以确定数据的位置。
• JobTracker找到最佳的TaskTracker节点，根据数据位置（数据的接近度）和可用的槽来执行任务，以便在给定节点上执行任务。
• JobTracker监控各个TaskTrackers，并将作业的整体状态提交回客户端。
• 在MapReduce执行方面，JobTracker流程对Hadoop集群至关重要。
• 当JobTracker关闭时，HDFS仍然可以正常运行，但无法启动MapReduce执行，现有的MapReduce作业将暂停。

任务追踪器 -

• TaskTracker在DataNode上运行。主要是在所有DataNode上。
• TaskTracker被MRv2中的节点管理器取代。

• TaskTracker将与JobTracker保持持续通信，表明正在执行的任务的进度。

• Mapper和Reducer任务在由TaskTrackers管理的DataNode上执行。

• 将为JobTracker分配Mapper和Reducer任务，以便JobTracker执行。

• TaskTracker失败不算致命。当TaskTracker无响应时，JobTracker会将TaskTracker执行的任务分配给另一个节点。