寻找将第三方jar添加到mapreduce作业的解决方案。目前,我们正在将第三方jar捆绑到map reduce工作中。似乎有时mapreduce工作罐的大小会很高。还有另一种方法来克服这个问题
答案 0 :(得分:1)
我相信“-libjars jar1,jar2,...”就是你需要的
答案 1 :(得分:0)
通常沿着超级jar路线走下去是一个很好的路径,如果你对不同MapReduce作业的同一个jar的不同版本有依赖关系,那么在通用java类路径中添加jar就会出现问题。
答案 2 :(得分:0)
使用以下句子。
出口 HADOOP_CLASSPATH = $ HADOOP_CLASSPATH:/路径/到/我/ jar1:/路径/到/我/ jar2
然后你可以像往常一样运行你的hadoop工作:grep -zPo '\Q"first.string.def:ghi.jkl"\E[^}]*\Q"string1":\E\s+"\K[^"]*'
。有关详细信息,请查看this out。