Oozie从文件中获取变量

时间:2018-04-11 13:33:28

标签: hadoop hive oozie hue

作为工作流中的操作,我将Hive SELECT COUNT命令的输出写入hdfs中的文本文件。

我需要根据输出中的值在此后的工作流程中做出决定。

我正在使用HUE构建此工作流程。

我需要知道的是:

  1. 如何将此值作为变量获取,最好不要在工作流程的开头,因为它将由初始操作生成。
  2. oozie决定此变量的语法。
  3. 我已尽力拼凑其他类似问题的答案,但我希望填补一些空白。

    我会非常感谢任何指导!谢谢!

2 个答案:

答案 0 :(得分:0)

我会选择Java路径capture-output。 Oozie使用凭证(https://oozie.apache.org/docs/4.2.0/DG_ActionAuthentication.html)支持Kerberos委派,因此您不需要在Java中进行身份验证;只需使用标准的JDBC连接

答案 1 :(得分:0)

我们遇到过这种情况,我们将其从Hive行动转变为shell行动。

我们使用Kerberos进行身份验证并使用Hive Server2并将计数从shell操作传递给下一个操作。