如何使用Sql查询的结果触发hadoop工作流程？

Question

我在Hadoop中使用 Sqoop - ＆gt;进行了复杂的工作流程。猪+ MR - ＆gt;蜂房

一旦使用日志数据更新某个特定的Oracle表，就应该触发此流程，这与先前ETL过程的完成有关。

这个主要工作流程包含在Oozie中。我还想在必要时使用Oozie来触发流程，因为Oozie是我组织中最成熟的工作流程调度程序。

我的理想（假设）解决方案：

1-每隔X分钟运行一次oozie作业并执行Sql语句。 根据声明的结果，作业会触发（或不触发）参数：

2-执行主要工作流程的oozie作业

所以，

• Oozie可以吗？
• 我应该在Oozie中实现吗？
• 你会如何实现它？

谢谢， 罗恩

ps - 我使用CHD5.2

Answer 1

如果你创建了2个协调器，第一个只是读取Oracle产生一些输出（如果你的数据在Ora中可用），那么什么可以用作第二个协调器的输入事件呢？ 这是一种隐含的触发器。