如何在Hadoop Yarn中执行之前预测MapReduce作业的执行时间

Question

我们如何估计hadoop纱线中地图减少作业的运行时间（即预期完成时间）？ 完成后，MapReduce作业的执行时间可用。但是我没有找到任何方法提前预测它的执行时间。

Answer 1

通过迭代工作的各个步骤，可以更好地理解作业的运行方式。例如，文件的初始解析可以假定为N因子，将文件写入节点可能是N的另一个因素，等等。我不是专家，但如果你更好地理解MapReduce的方式真的有用，那么你就可以找到它

总而言之，这在很大程度上取决于你想要完成的工作。