打包在Hadoop中运行的依赖项

时间:2015-12-15 02:36:02

标签: java maven hadoop

作为一名非常熟悉Maven依赖关系和打包的前Java开发人员...如何捆绑应用程序,并将其依赖JAR部署到Hadoop集群中?我见过的几乎所有例子都看着包装一个JAR。好像我要么缺少一些东西。

给定here的-libjars答案对于简单的依赖关系层次结构似乎没有问题,但对于复杂的场景几乎无法管理。

1 个答案:

答案 0 :(得分:0)

好的,我会提出一个答案,我正在考虑如何做,但让社区决定这是否有用水(在一周左右的时间后用大多数积分来标记答案)。

以前我已经创建了maven配置来构建可执行文件 - 通常会创建一个包含所有相关JAR的爆炸文件夹和一个包含所有依赖项(自动)连接在一起的批处理脚本......我认为这可能是最好的选择。 / p>

将这些内容压缩并推入中央maven仓库可能最容易进行打包,但在运行Hadoop之前仍需要下载并解压缩。