hadoop工作的实际处理时间

Question

我的群集当前被作业A占用，这需要很长时间并具有 VERY_LOW 优先级。

我昨天开始了另一份工作B而A已经在运行，我认为应该跑得很快。 但是，我看到工作细节花了47分钟。 我不认为这是实际的处理时间。 我正试图找出工作真正开始的时间。 我在哪里看？

Answer 1

我似乎无法找到任何可以说明您所追求的内容，但您可以查看端口50030上的作业跟踪器中的工作，并查看单个映射器和缩减器详细信息。在那里，您可以看到每个映射器和缩减器从开始和结束时间完成任务所花费的时间。

如果在你开始第二份工作时没有任何地图制作工具或减速工具，第二份工作就无法取得任何进展，直到第一份工作发布它们，这可能解释了为什么它声称需要这么长时间，因为它们可能实际上并没有同时运行。作业开始的时间和第一个实际的映射器启动时应该指示它是否只是等待资源，这意味着您可以从总共47分钟中扣除作业和映射器的开始时间之间的时间段。