Question

我有一个运行Java动作的oozie工作流程。在java操作中，我需要描述一个Hive表来获取表的模式。我通过使用流程构建器并执行包含describe table query

的shell脚本来完成此操作

我的describeTable.sh：

hive -e 'describe <tableName>`

java代码生成此脚本后，我将其复制到本地FS上的/tmp，然后使用流程构建器执行脚本，如下所示：

fs.copyToLocalFile(bashScriptPath, new Path("/tmp/describeTable.sh"));
ProcessBuilder builder = new ProcessBuilder("bash", "/tmp/describeTable.sh");

脚本执行，但无法将hive识别为命令

/tmp/describeTable.sh: line 1: hive: command not found

我也试过了/usr/bin/hive -e 'describe <tableName>'，但它也没有用。

当我在本地FS上将其作为jar文件执行时，java程序运行正常，但是当我将其作为oozie工作流的一部分运行时，它会失败。

我不确定如何使这个工作，我真的很感激一些想法。

修改

添加流程构建器的完整代码：

fs.copyToLocalFile(bashScriptPath, new Path("/tmp/describeTable.sh"));
    ProcessBuilder builder = new ProcessBuilder("bash", "/tmp/describeTable.sh");
    builder.directory(new File(currentLocalDir));
    ArrayList<String> columnList = new ArrayList<String>();
    System.err.println("trying to run script");
    try {
        final Process process = builder.start();
        InputStream is = process.getInputStream();
        InputStreamReader isr = new InputStreamReader(is);
        BufferedReader br = new BufferedReader(isr);
        BufferedReader error1 = new BufferedReader(new InputStreamReader(process.getErrorStream()));
        String errorLine=null;
        System.err.println("error stream: ");
        while((errorLine=error1.readLine())!=null){
            System.err.println(errorLine);
        }
        String line;
        System.err.println("input stream");
        while((line=br.readLine())!=null) {
            System.err.println("line from running script: " + line);
            String[] output = line.split("\t");
            columnList.add(output[0]);

        }
        is.close();
        isr.close();
        br.close();
        System.err.println("column list:" + columnList);
        return columnList;

Answer 1

Oozie运行大部分（如果不是全部）操作作为Map Reduce作业，因此您看到的错误消息可能是因为java操作正在您的某个计算节点上执行，而不是您提交oozie作业的机器，或运行Oozie服务器的机器。

您可以确保在群集中的所有计算节点上都安装了配置单元，或者在Java Action中使用Hive Java API，并将配置单元库（以及所有依赖项）添加到HDFS中的Oozie作业的共享库路径中。 / p>

如何从Oozie Java动作中运行Hive命令？

1 个答案: