Question

我在主类中使用了下面提到的分布式缓存代码。

job.addCacheFile(new URI(args[2]));

下面提到的代码是reduce类。

@Override
        protected void setup(Reducer<LongWritable, Text, Text, Text>.Context context) throws IOException, InterruptedException {
            super.setup(context);
            URI[] paths = context.getCacheFiles();
            if (paths.length > 0) {
                loadDeliveryStatusCodes(paths[0].toString());
            }
        }
        private void loadDeliveryStatusCodes(String file) {
            String strRead;
            BufferedReader reader = null;
            try {
                reader = new BufferedReader(new FileReader("./some"));
                while ((strRead = reader.readLine()) != null) {
                    String splitarray[] = strRead.split(",");
                    deliveryCodesMap.put(splitarray[0].trim(), splitarray[1].trim());
                }
            } catch (FileNotFoundException e) {
                e.printStackTrace();
            } catch (IOException e) {
                e.printStackTrace();
            } finally {
                try {
                    reader.close();
                } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }

我得到了下面提到的例外。

@@@@@@@@/user/DeliveryStatusCodes.txt 1
java.io.FileNotFoundException: ./some (No such file or directory)
    at java.io.FileInputStream.open0(Native Method)
    at java.io.FileInputStream.open(FileInputStream.java:195)
    at java.io.FileInputStream.<init>(FileInputStream.java:138)
    at java.io.FileInputStream.<init>(FileInputStream.java:93)
    at java.io.FileReader.<init>(FileReader.java:58)
    at com.hadoop.intellipaat.UserSMSDeliveryJob$USERNameSMSStatusCodeMapper.loadDeliveryStatusCodes(UserSMSDeliveryJob.java:95)

你的帮助将节省我的一天。感谢。

Answer 1

您似乎错过了#some结尾的args[2]。目前您有/user/DeliveryStatusCodes.txt，但您应该

/user/DeliveryStatusCodes.txt#some

如果没有它，FileReader确实在寻找./some，这当然不会存在。

或者您可以跳过别名（可选）并编写

new FileReader("/user/DeliveryStatusCodes.txt")

在Hadoop中使用DistributedCache时获取异常

1 个答案: