我正在尝试使用oozie解决以下问题。任何有关解决方案的建议都将受到赞赏。
背景:我开发了一个代码(使用oozie-Sqoop导入)从SQL数据库导入数据,并进行了一些转换并将数据加载到Hive。现在,我需要在SQL和Hive之间进行计数检查以实现对帐
有什么办法可以使用oozie做到这一点吗?
我正在考虑使用oozie的“ sqoop eval”执行sql查询,并使用oozie的“ hive action”执行hive查询,但我想知道如何在查询执行后将结果返回给oozie /捕获结果。>
获得结果后,我需要在后续操作中进行调和
答案 0 :(得分:0)
我通过执行sqoop eval和Hive Dataframe计数使用py-spark动作实现了它。它的工作正常。