通过oozie运行查询(无脚本)

时间:2014-05-22 23:29:11

标签: sql hadoop hive hdfs oozie

我试图通过oozie提交非预先形成的adhoc性质查询。 从oozie hive操作扩展文档http://oozie.apache.org/docs/3.3.1/DG_HiveActionExtension.html,我可以在我的工作流xml文件中有以下内容: -

        <script>someScriptWithQuery.q</script>
        <param>TABLE=foo</param>            

这里有些ScriptWithQuery.q可以包含一个带参数化tablename的hive查询,需要驻留在hdfs系统上。

我想要了解的是 - 如果我有一个案例

(1)不可能预先形成查询,但必须建立在一个特定的基础上(基本上意味着我不能在上面的工作流程xml中使用“script”标签)和

(2)在hdfs系统上有一个脚本是不可行的(因此我不能参数化整个查询) -

在这种情况下 - 如何通过oozie提交该查询?我的问题与此处有些类似的帖子Scheduling an ad-hoc query with Hive/Hadoop using Oozie有关。

还有其他可能的方法来实现这一目标吗?对此的任何帮助将不胜感激。

1 个答案:

答案 0 :(得分:0)

回答你的两个问题:

1)是的,你可以,只需添加另一个节点,如:

<script>someScriptWithQuery.q</script>
<param>TABLE=foo</param>
<file>someTransformScript</file?

然后使用USING&#39; someTransformScript&#39;

在查询中使用该脚本

2)如果您的hadoop服务器支持该脚本,例如,您的节点具有所有必需的依赖关系等等

希望这有帮助