使用maven-assembly-plugin创建一个大型zip组件

时间:2013-10-02 10:54:17

标签: java maven zip maven-assembly-plugin

我在使用maven-assembly-plugin创建更大的zip程序集(未压缩占用超过3GB)时遇到问题。构建输出zip文件(压缩小于1GB)时会出现此问题。使用选项-e运行maven可以获得更详细的信息:

[INFO] Building zip: xxx/HG19-UCSC-dist.zip
[INFO] ------------------------------------------------------------------------
[INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 12:40.199s
[INFO] Finished at: Wed Oct 02 11:08:44 BST 2013
[INFO] Final Memory: 13M/723M
[INFO] ------------------------------------------------------------------------
[ERROR] Failed to execute goal org.apache.maven.plugins:maven-assembly-plugin:2.2-beta-5:single (make-assembly) on project HG19: Execution make-assembly of goal org.apache.maven.plugins:maven-assembly-plugin:2.2-beta-5:single failed: invalid entry size -> [Help 1]
...
...
...
Caused by: org.apache.maven.plugin.PluginExecutionException: Execution make-assembly of goal org.apache.maven.plugins:maven-assembly-plugin:2.2-beta-5:single failed: invalid entry size
    at org.apache.maven.plugin.DefaultBuildPluginManager.executeMojo(DefaultBuildPluginManager.java:115)
    at org.apache.maven.lifecycle.internal.MojoExecutor.execute(MojoExecutor.java:208)
    ... 19 more
Caused by: java.lang.IllegalArgumentException: invalid entry size
    at java.util.zip.ZipEntry.setSize(ZipEntry.java:135)
    at org.codehaus.plexus.archiver.zip.ZipOutputStream.closeEntry(ZipOutputStream.java:352)
    at org.codehaus.plexus.archiver.zip.ZipOutputStream.finish(ZipOutputStream.java:316)

环顾四周,我发现问题来自我在JDK / JRE(https://blogs.oracle.com/xuemingshen/entry/zip64_support_for_4g_zipfile)中缺少对Zip64的支持,该支持已于2011年添加到OpenJDK。

但是,我已将JDK更新为Oracle提供的最新版本:

$ mvn -version
Apache Maven 3.1.0 (893ca28a1da9d5f51ac03827af98bb730128f9f2; 2013-06-28 03:15:32+0100)
Maven home: /usr/local/apache-maven-3.1.0
Java version: 1.7.0_40, vendor: Oracle Corporation
Java home: /usr/local/java/jdk1.7.0_40/jre
Default locale: en_GB, platform encoding: ISO-8859-1
OS name: "linux", version: "2.6.32-279.2.1.el6.x86_64", arch: "amd64", family: "unix"

再次报告同样的问题。最新的Oracle JDK是否不支持Zip64,还是其他的东西?

我想,我可以尝试从源代码构建OpenJDK b147,但除非不可避免,否则我希望避免这种情况。

4 个答案:

答案 0 :(得分:6)

我找到了罪魁祸首,所以报告这个问题只是为了节省其他时间。

似乎问题在我的异常堆栈跟踪中报告的org.codehaus.plexus.archiver.zip.ZipOutputStream.closeEntry(ZipOutputStream.java:352)中。查看org.codehaus...ZipOutputStream.closeEntry的来源,我可以看到:

entry.setSize( def.getTotalIn() );

defjava.util.zip.Deflater。但是,Deflater.getTotalIn会返回int而非long。相反,代码应该使用Deflater.getBytesRead(),我将向开发人员报告。

[编辑]已经有一段时间了,但我看到有人在阅读这篇文章,所以仅仅因为maven程序集插件的版本2.5已经解决了这个问题。

答案 1 :(得分:1)

遇到同样的问题。 在构建项目的jar时偶尔会拾取一个非常大的(3GB)日志文件,这导致了这个问题。 删除文件后,目标jar的大小恢复到10Mb以下没有错误。

答案 2 :(得分:0)

我们可以看到here, (ZipEntry class),这已在JDK 1.7中修复。

您已经显示从命令行运行的mvn显示JDK版本1.7。

您是否尝试以相同的方式完成构建,我的意思是从命令行(而不是IDE,它可以使用另一个JDK用于maven?)

答案 3 :(得分:0)

在使用shade插件时,我遇到了类似的问题(OP中的错误),这是因为在打包之前没有运行mvn clean