使用Falcon进行大数据处理

Question

我希望使用Falcon处理HDFS中的数据（例如验证csv列）。我已成功安装Falcon（version - Hortonworks Sandbox 2.1, Falcon -0.5.0.2.1.1.0）并能够提交job。但是，作业未运行，UI无法启动/停止作业。 我想知道如何验证作业的输出并根据第一份工作的验证 - 工作流程继续进行另一项工作。

Answer 1

如果您正在寻找自定义逻辑，您可以创建一个oozie工作流程，并让该工作流程提交一个猎鹰作业作为最后一项任务。

<process name="sample-process">
...
   <workflow engine="oozie" path="/projects/bootcamp/workflow"/>
...
</process>

https://falcon.apache.org/EntitySpecification.html#Process_Specification

希望它有所帮助。