Question

我正在尝试使用命令

运行带有hadoop的jar文件

hadoop jar test.jar org.ipiran.hadoop.sample.TestMapReduce /user/data.txt /output/1.txt 4

但它返回错误

退出代码：1异常消息：系统找不到指定的路径

我试过没有指定类但得到了相同的结果。我有文件data.txt。我的主要java代码

public int run(String[] args) throws Exception {
    Configuration conf = this.getConf();
    conf.set("fs.defaultFS", "hdfs://localhost:9000/");
    conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName());
    conf.set("fs.file.impl", org.apache.hadoop.fs.LocalFileSystem.class.getName());
    conf.set("source", args[2]);
    long numUpdated = 1;
    int code = 0;
    int numIterations = 1;
    FileSystem hdfs = FileSystem.get(conf);
    while (numUpdated > 0) {
        logger.info("Iteration: " + numIterations);
        String input, output;
        Job job = Job.getInstance(conf, "word count");
        if (numIterations == 1) {
            input = args[0];
        } else {
            input = args[1] + "-" + (numIterations - 1);
        }
        output = args[1];// + "-" + numIterations;

        job.setJarByClass(TestMapReduce.class);
        job.setMapperClass(testmap.class);
        job.setReducerClass(TestReduce.class);
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(Text.class);
        FileInputFormat.addInputPath(job, new Path(input));
        FileOutputFormat.setOutputPath(job, new Path(output));
        code = job.waitForCompletion(true) ? 0 : 1;

        Counters jobCounters = job.getCounters();
        numUpdated = jobCounters.
            findCounter(MoreIterations.numUpdated).getValue();
        if (numIterations > 1) {
            hdfs.delete(new Path(input), true);
            logger.info("Updated: " + numUpdated);
        }
        numIterations += 1;
    }
    return code;
}

我正在使用Windows 10.有人知道这里有什么问题吗？

Answer 1

您使用的是Windows 10，但是如果您使用的是Linux，则需要对其进行处理。

在Linux中“/ someDir / someFile意味着根目录下的目录下有一个文件。

您必须将数据文件的路径更改为可与Windows兼容的某个位置。

顺便问一下，你的机器上安装了hadoop吗？

我建议使用Linux VM，你可以使用Cloudera VM，因为它安装了所有东西

https://www.cloudera.com/downloads/quickstart_vms/5-12.html

Hadoop jar - 系统找不到指定的路径

1 个答案: