如何添加第三方jar到mapreduce工作?

时间:2018-04-30 09:29:26

标签: java hadoop mapreduce hadoop2

寻找将第三方jar添加到mapreduce作业的解决方案。目前,我们正在将第三方jar捆绑到map reduce工作中。似乎有时mapreduce工作罐的大小会很高。还有另一种方法来克服这个问题

3 个答案:

答案 0 :(得分:1)

我相信“-libjars jar1,jar2,...”就是你需要的

答案 1 :(得分:0)

通常沿着超级jar路线走下去是一个很好的路径,如果你对不同MapReduce作业的同一个jar的不同版本有依赖关系,那么在通用java类路径中添加jar就会出现问题。

答案 2 :(得分:0)

使用以下句子。

  

出口   HADOOP_CLASSPATH = $ HADOOP_CLASSPATH:/路径/到/我/ jar1:/路径/到/我/ jar2

然后你可以像往常一样运行你的hadoop工作:grep -zPo '\Q"first.string.def:ghi.jkl"\E[^}]*\Q"string1":\E\s+"\K[^"]*' 。有关详细信息,请查看this out