Question

我使用命令'add file'，随后UDF将加载该文件。

但我在HDFS（hdfs：// namenode：8026 / user / hdfs）找不到hive添加的文件，我需要在我的udf方法中使用路径。

该文件的路径是什么以及如何通过udf使用它？

Answer 1

add file在Hive中的分布式缓存中添加文件。

Answer 2

无法从UDF / UDTF访问dfs路径，您需要在UDF / UDTF中提供本地路径。

我的方法：

检查文件是否存在于本地的＆＃39; / tmp＆＃39;或不。如果是，并且文件长度非零，则使用它，否则将文件从DFS：/ shared拉到＆＃39; / tmp并继续。

public static boolean readFile(){   
    BufferedReader br=null;
    try {
        File f = new File("/tmp/" + fileName);
        if (! f.exists() || f.length() == 0){
            // Pull fresh file from dfs:/xyz.
            String cmd = "hadoop fs -get /xyz/" + fileName + " /tmp/";
            Runtime run = Runtime.getRuntime();
            System.err.println("Pulling Mapping file from HDFS. Running: " + cmd);
            Process pr = run.exec(cmd);
            try {
                // Waiting for the job to complete.
                pr.waitFor();
            } catch (InterruptedException e) {
                // TODO Auto-generated catch block
                e.printStackTrace();
            }
        }
        //open file for reading
         br = new BufferedReader(new FileReader("/tmp/" + fileName));

        String line= br.readLine();

        while(line != null){
            System.out.println(line);               
            //read next line
            line = br.readLine();
        }

        br.close();

    }catch (FileNotFoundException e){

        System.err.println("File not found - "+fileName);
        return false;

    }catch(IOException e){

        System.err.println("Error while reading from the preset file");         
        return false;           
    }

    return true;        
}

Hive添加的文件在哪里？

2 个答案: