我正在运行mapreduce作业,为每个行键创建几个zip文件。 我无法为所有记录创建一个zip文件。所以有没有办法在hadoop mapreduce的单个zip文件中合并几个所有zip文件。 这就是我为每个行键创建zip文件的方法
@Override
public void write(K key, V value) throws IOException {
final String valueStr = value.toString();
String strFullFileName[] = valueStr.split("\\|\\^\\|");
String strKey = strFullFileName[0] + strFullFileName[1];
ZipEntry ze = new ZipEntry(strKey);
zipOut.closeEntry();
zipOut.putNextEntry(ze);
if (value instanceof BytesWritable) {
zipOut.write(((BytesWritable) value).getBytes(), 0,
((BytesWritable) value).getLength());
} else {
zipOut.write(value.toString().getBytes());
}
}
我们可以在mapreduce中自己合并几个zip文件,如果没有,请建议合并命令。