Hadoop WordCount执行时间的差异

时间:2019-05-16 18:07:18

标签: dictionary hadoop time reduce execution

  1. 我在一个节点上运行了1 GB的WordCount基准测试,然后是2个节点,然后是3个节点,然后是4。对于每个节点,我对地图任务的一次执行时间有所不同(39.118-> 1个节点, 56.996-> 2个节点,78.33-> 3个节点,42.234-> 4个节点)。我不明白为什么会有这种变化,但我认为这是因为分配开销。这样对吗?

  2. 当我以更大的大小(8 GB)运行相同的基准测试时,单个地图任务的执行时间被更改。我比较了4个节点(来自问题1)的单次执行时间与8 GB产生的时间,它们是不同的。我以为我应该得到42.234(或在这个范围内),因为执行时间属于8 GB,但是我得到了75.335。为什么在块大小和所有配置都相同的情况下会发生这种变化?

  3. 最后一个问题是:当我将map任务的时间与reduce任务的时间结合在一起时,总时间与终端中出现的时间不同。终端时间增加了约15秒。浪费了通信时间吗?

0 个答案:

没有答案