Question

最近我试图了解Mumak的工作（例如，见MAPREDUCE-728）

它基本上需要一个作业跟踪和拓扑跟踪并模拟hadoop。我无法理解它是如何跨节点分配分裂的。 mumak对本地地图任务和非本地任务的意义是什么？

Answer 1

在MapReduce中，有一个“locality”的概念，它表示一个任务从它正在处理的数据中运行的“距离”。最佳位置是在包含所需数据的节点上运行任务。第二个最佳位置是与包含数据等的节点在同一机架中的节点......

通过在配置文件中使用以下设置，Mumak能够减慢在非本地节点上安排的任务的速度：

<property>
    <name>mumak.scale.racklocal</name>
    <value>1.5</value>
    <description>Scaling factor for task attempt runtime of rack-local over
    node-local</description>
</property>

<property>
    <name>mumak.scale.rackremote</name>
    <value>1.8</value>
    <description>Scaling factor for task attempt runtime of rack-remote over
    node-local</description>
</property>

了解Hadoop Simulator Mumak

1 个答案: