使用亚马逊弹性mapreduce服务时如何在hadoop中包含第三方库

Question

我必须使用名为weka的第三方库来完成一些数据挖掘任务。但我不知道如何在亚马逊弹性mapreduce服务中包含所需的jar文件。

有没有人有处理此案的经验？

Answer 1

检查这些文章（1，2），以便在Hadoop作业中包含第三方库。

Answer 2

一个简单的解决方案是使用映射器和缩减器将您的依赖项放在jar文件中。

如果您使用Maven构建我建议使用Maven Assembly Plugin插件来打包一个包含所有依赖项的jar。