我试图通过oozie提交非预先形成的adhoc性质查询。 从oozie hive操作扩展文档http://oozie.apache.org/docs/3.3.1/DG_HiveActionExtension.html,我可以在我的工作流xml文件中有以下内容: -
<script>someScriptWithQuery.q</script>
<param>TABLE=foo</param>
这里有些ScriptWithQuery.q可以包含一个带参数化tablename的hive查询,需要驻留在hdfs系统上。
我想要了解的是 - 如果我有一个案例
(1)不可能预先形成查询,但必须建立在一个特定的基础上(基本上意味着我不能在上面的工作流程xml中使用“script”标签)和
(2)在hdfs系统上有一个脚本是不可行的(因此我不能参数化整个查询) -
在这种情况下 - 如何通过oozie提交该查询?我的问题与此处有些类似的帖子Scheduling an ad-hoc query with Hive/Hadoop using Oozie有关。
还有其他可能的方法来实现这一目标吗?对此的任何帮助将不胜感激。
答案 0 :(得分:0)
回答你的两个问题:
1)是的,你可以,只需添加另一个节点,如:
<script>someScriptWithQuery.q</script>
<param>TABLE=foo</param>
<file>someTransformScript</file?
然后使用USING&#39; someTransformScript&#39;
在查询中使用该脚本2)如果您的hadoop服务器支持该脚本,例如,您的节点具有所有必需的依赖关系等等
希望这有帮助