有哪些工具可以对Cascading for Hadoop例程进行基准测试？

Question

我获得了一个多步级联程序，其运行时间大约是等效M / R作业运行时间的十倍。我如何确定哪个步骤运行速度最慢，以便我可以将其作为优化目标？

Answer 1

不是一个完整的答案，但足以让你开始我想。您需要为您的工作生成MapReduce工作流的图形表示。请参阅此页面以获取示例：http://www.cascading.org/multitool/。该图应该有助于找出瓶颈所在。