我有一个map-reduce作业要在Amazon EMR上运行。我想有多达400个映射器和缩减器,我想使用中型或大型实例。如何估计我需要的实例数量。
此外,如果一份工作在2分钟内结束,那么就说,我再做一份需要4分钟的工作,我会被收取2小时或者被认为是1小时吗?
答案 0 :(得分:0)
我知道如果您使用CLI工具创建工作流程并添加步骤,那么您可以在同一个工作流程中一个接一个地运行这两个步骤,并且它们将在同一小时内计算。
我相信如果您使用GUI,那么您无法重复使用工作流程,因此您可能会为每项工作收取一小时的费用。我没试过这个,所以可能是错的。
查看这篇文章,我获取了这些信息:
https://cwiki.apache.org/confluence/display/MAHOUT/Mahout+on+Elastic+MapReduce