了解Hive MR输出

Question

当我运行Hive语句并启动相应的MR作业时，它通常有一行如下：

  

Stage-Stage-1：Map：33 Reduce：131累积CPU：8006.47 sec HDFS读取：1280804751 HDFS写道：279261996966成功

     

总MapReduce CPU花费的时间：0天2小时13分26秒470毫秒

我对解释这一行有一些疑问。

1. 1280804751，279261996966中有哪些单位？字节？块？有什么方法可以将它们转换成人类可读的格式吗？
2. “MapReduce CPU Time Spent”是什么意思？ “累积CPU”是什么意思？

Answer 1

1. HDFS Read和HDFS Write值以字节为单位。

2. Cumulative CPU是舞台的MapReduce作业的所有任务的总CPU时间。 Total MapReduce CPU Time Spent是查询所有阶段的总CPU时间。在您的示例中，只有一个阶段，因此两个值具有相同的持续时间。