Oozie解决方案,用于执行查询并从sql&Hive获取结果

时间:2019-04-24 13:36:11

标签: sql hiveql oozie sqoop2 oozie-workflow

我正在尝试使用oozie解决以下问题。任何有关解决方案的建议都将受到赞赏。

背景:我开发了一个代码(使用oozie-Sqoop导入)从SQL数据库导入数据,并进行了一些转换并将数据加载到Hive。现在,我需要在SQL和Hive之间进行计数检查以实现对帐

有什么办法可以使用oozie做到这一点吗?

我正在考虑使用oozie的“ sqoop eval”执行sql查询,并使用oozie的“ hive action”执行hive查询,但我想知道如何在查询执行后将结果返回给oozie /捕获结果。

获得结果后,我需要在后续操作中进行调和

1 个答案:

答案 0 :(得分:0)

我通过执行sqoop eval和Hive Dataframe计数使用py-spark动作实现了它。它的工作正常。