如何将现有的MapReduce应用程序转换为Crunch?

时间:2016-01-20 23:03:21

标签: hadoop mapreduce apache-crunch

我实现了几个(大约12个)MapReduce任务,每个任务都是由简单的bash脚本执行的工作流的一部分。出于各种原因,我想将工作流程移至Apache Crunch。

但是,我不清楚如何在没有重新实现它们的情况下将MapReduce任务作为Crunch函数运行。是否有一种直接的方式将Map和Reduce实现用作Crunch函数?我想维护工具实现,因此MapReduce任务既可以独立运行,也可以作为Crunch工作流程的一部分运行;有没有办法做到这一点?

感谢您的任何见解。

1 个答案:

答案 0 :(得分:0)

对于任何可能偶然发现这一点的人来说,Crunch libs中有一个最低限度记录的API。但是,这很简单。

见这里:https://crunch.apache.org/apidocs/0.10.0/org/apache/crunch/lib/Mapreduce.html