如何在HDFS hadoop中的一个zip文件中合并多个zip文件

时间:2017-03-11 03:08:22

标签: hadoop mapreduce zip

我正在运行mapreduce作业,为每个行键创建几个zip文件。 我无法为所有记录创建一个zip文件。所以有没有办法在hadoop mapreduce的单个zip文件中合并几个所有zip文件。 这就是我为每个行键创建zip文件的方法

@Override
        public void write(K key, V value) throws IOException {
            final String valueStr = value.toString();
            String strFullFileName[] = valueStr.split("\\|\\^\\|");
            String strKey = strFullFileName[0] + strFullFileName[1];

            ZipEntry ze = new ZipEntry(strKey);
            zipOut.closeEntry();
            zipOut.putNextEntry(ze);

            if (value instanceof BytesWritable) {
                zipOut.write(((BytesWritable) value).getBytes(), 0,
                        ((BytesWritable) value).getLength());
            } else {
                zipOut.write(value.toString().getBytes());
            }

        }

我们可以在mapreduce中自己合并几个zip文件,如果没有,请建议合并命令。

0 个答案:

没有答案