Question

我正在尝试从HDFS中加载hadoop中的分布式缓存中的文件，但它不起作用。我正在使用hadoop版本2.5.1。这是关于我如何在映射器中使用缓存文件的代码：

@Override
    protected void setup(Context context) throws IOException, InterruptedException {
        URI[] uris = context.getCacheFiles();

        for (URI uri : uris) {
            File usersFile = new File(uri);
            BufferedReader reader = null;
            reader = new BufferedReader(new FileReader(usersFile));
            String line = reader.readLine();

            ...

            reader.close();
        }
    }

以下是我尝试在驱动程序中加载缓存的三种不同方式： 1）如果我把文件放在这样的缓存中它可以工作，但它会从我的本地FS加载文件（我在mac上运行代码）。

 job.addCacheFile(new URI("file:///input/users.txt"));

2）如果我使用hdfs作为一个方案如下（该文件存在于＆＃34; / input /＆＃34;下的hdfs）：

job.addCacheFile(new URI("hdfs:///input/users.txt"));

我得到了这个例外：

java.lang.Exception: java.lang.IllegalArgumentException: URI scheme is not "file"
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.IllegalArgumentException: URI scheme is not "file"
    at java.io.File.<init>(File.java:395)

3）这是我尝试加载文件的第三种方式：

job.addCacheFile(new URI("hdfs://localhost:9000/input/users.txt"));

我得到以下异常：

java.lang.Exception: java.lang.IllegalArgumentException: URI scheme is not "file"
    at org.apache.hadoop.mapred.LocalJobRunner$Job.runTasks(LocalJobRunner.java:462)
    at org.apache.hadoop.mapred.LocalJobRunner$Job.run(LocalJobRunner.java:522)
Caused by: java.lang.IllegalArgumentException: URI scheme is not "file"
    at java.io.File.<init>(File.java:395)

如果有人能说明为什么会出现这些异常，我将不胜感激。

Answer 1

我遇到了同样的问题。如果文件在Pro Apache Hadoop第2版中的hdfs中，则引用不同的方法。您只能通过下载图书的源代码来访问示例代码。它在第6章文件夹（MapSideJoinMRJob3.java）中我将发布不同的片段。希望这有帮助::

    private FileSystem hdfs = null;

    public List<String> readLinesFromJobFS(Path p) throws Exception {
        List<String> ls = new ArrayList<String>();

        BufferedReader br = new BufferedReader(new InputStreamReader(
                this.hdfs.open(p)));
        String line;
        line = br.readLine();
        while (line != null) {
            line = br.readLine();
            if(line!=null)
                ls.add(line);
        }
        return ls;
     }

   public void setup(Context context) {

        try {
            this.hdfs = FileSystem.get(context.getConfiguration());
            URI[] uris = context.getCacheFiles();
            for (URI uri : uris) {
                if (uri.toString().endsWith("airports.csv")) {
                    this.readAirports(uri);
                }
                if (uri.toString().endsWith("carriers.csv")) {
                    this.readCarriers(uri);
                }
            }
        } catch (Exception ex) {
            ex.printStackTrace();
            throw new RuntimeException(ex);
        }

    }

如何在HDFS上读取Hadoop上的分布式缓存文件

1 个答案: