Question

我目前正在研究hadoop。我想将我的java代码转换为hadoop。我希望我的代码与hdfs一起使用。即我的代码是普通文件系统，我希望它与hdfs（高清文件系统）一起使用。我希望下面的代码在hadoop（高清文件系统）中工作。

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.util.zip.GZIPInputStream;
import java.util.zip.GZIPOutputStream;

public class GZIPExample {

    public static void gzip() {
        int i = new File("/media/0052ADF152ADEC1A/all splits").list().length;
        System.out.println(i + "here");
        while (i > 0) {
            String file = "/media/0052ADF152ADEC1A/all splits/File" + i + ".txt";
            String gzipFile = "/media/0052ADF152ADEC1A/compress/Filegz" + i + ".gz";
            String newFile = "/media/0052ADF152ADEC1A/all/hadoop ebooks/test1.txt";

            compressGzipFile(file, gzipFile);

            decompressGzipFile(gzipFile, newFile);
            i--;
        }
    }

    private static void decompressGzipFile(String gzipFile, String newFile) {
        try {
            FileInputStream fis = new FileInputStream(gzipFile);
            GZIPInputStream gis = new GZIPInputStream(fis);
            FileOutputStream fos = new FileOutputStream(newFile);
            byte[] buffer = new byte[1024];
            int len;
            while ((len = gis.read(buffer)) != -1) {
                fos.write(buffer, 0, len);
            }
            //close resources
            fos.close();
            gis.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

    private static void compressGzipFile(String file, String gzipFile) {
        try {
            FileInputStream fis = new FileInputStream(file);
            FileOutputStream fos = new FileOutputStream(gzipFile);
            GZIPOutputStream gzipOS = new GZIPOutputStream(fos);
            byte[] buffer = new byte[1024];
            int len;
            while ((len = fis.read(buffer)) != -1) {
                gzipOS.write(buffer, 0, len);
            }
            //close resources
            gzipOS.close();
            fos.close();
            fis.close();
        } catch (IOException e) {
            e.printStackTrace();
        }

    }

}

Answer 1

我建议您开始阅读并理解MapReduce代码的外观以及它必须实现的目标：

https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html

然后你会明白没有＆＃34;转换＆＃34;。在一个非常高级的视图中，MapReduce Java代码是一种在两个阶段构建代码的方法：Map和Reduce

根据您的示例，您似乎希望使用并行计算来解压缩大量文件，因此您应该尝试将MapReduce代码编写为解压缩文件的两步过程。抱歉，我从未遇到压缩算法。

Answer 2

这里给出了Java代码和处理Hadoop文件系统示例的示例：

https://sites.google.com/site/hadoopandhive/home/how-to-read-all-files-in-a-directory-in-hdfs-using-hadoop-filesystem-api

您可以将此作为参考。

将普通的java代码转换为没有mapreduce的hadoop代码？

2 个答案: