Apache Crunch管道如何生成map reduce工作？

Question

我是像Crunch / Cascading这样的hadoop管道框架的新手。我想知道这些框架的底部，它们是否生成原始的mapper和reducer类，就像原始的MapReduce程序一样？从Crunch源代码中，我没有找到将管道转换为原始MapReduce类的代码。

Answer 1

您可以使用代码中的以下行可视化已创建的MapReduce计划。将在pipeline.dot中创建的DOT代码复制到graphviz中以查看计划。

String dot = pipeline.getConfiguration().get("crunch.planner.dotfile");
Files.write(dot, new File("pipeline.dot"), Charsets.UTF_8);