标签： performance mapreduce cascading scalding
我有一份烫伤工作，平均需要4个小时来运行。缩放有很多旋钮，我们必须对其进行调整，以使其在给定的数据量和映射/缩小模式下达到最佳性能。我已经调整了映射器/缩小器以及队列。除了调整队列可用的mapper / reducer / late start / resource之外，是否有一种通用的方法可以加快缩放作业的处理速度？
我正在使用Mesos / Aurora运行Scalding。