Question

我是新的oozie用户。目前我正在尝试从oozie中的shell脚本运行示例bigquery命令（例如：bq ls -p）。但它每次都失败了。下面我提供了工作流程和shell脚本。我在Hortonworks Sandbox中试用它，gcloud在hortonworks沙箱中进行了身份验证。
我想知道是不是可以从oozie运行bigquery命令？ AFAIK Hortonworks沙箱使用与其datanode和jobnode相同的虚拟框。如果我可以运行，那么任何人都可以帮我找到答案 - 如果我要从更大的hadoop集群运行，我是否需要在每个节点中验证gcloud？

提前致谢。我的工作流程xml示例：

<workflow..
   <start to="run_shell" />
      <action name="run_shell" retry-max="2" retry-interval="1">
        <shell xmlns="uri:oozie:shell-action:0.2">
           <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                  <name>mapred.job.queue.name</name>
                  <value>default</value>
                </property>
            </configuration>
            <exec>pl2.sh</exec>
            <argument>/user/bandyoa/AP/</argument>
            <file>${nameNode}/user/bandyoa/AP/pl2.sh#pl2.sh</file> 
            <capture-output/>
        </shell>
        <ok to="end"/>
      <error to="failure_mail"/>
    </action>
</workflo..>

和shell脚本：

#!/bin/bash
bq ls -p

Answer 1

将/home/hdfs/.config和/home/hdfs/.bigqueryrc中的所有项目设置和身份验证设置复制到/ home /并将它们设置为对所有用户可读/可写，这让Oozie为我感到高兴。现在bq ls返回默认数据集中的表列表。

Bigquery命令无法从oozie工作流运行

1 个答案: