从UI

时间:2017-05-15 08:09:11

标签: apache-spark oozie

要求: 通过用户操作从UI触发spark作业(例如,提交按钮单击)。 火花作业完成后,状态摘要必须显示在UI中。

设计方法: 1.一旦用户通过单击UI中的提交按钮启动作业运行,我们将使用Impala JDBC插入Impala队列表。    队列表的简化结构如下:

JOB_RUN_QUEUE(REQUEST_ID,STATUS,INPUT_PARAM_1,INPUT_PARAM_2,摘要)

初始请求将具有STATUS ='SUBMIT'

  1. Oozie将配置为协调请求处理和作业spark执行。 一旦Oozie发现进入队列表JOB_RUN_QUEUE并且状态='SUBMIT',它将从队列表中提取参数并触发spark作业。 它会将队列表中的状态更新为“IN PROGRESS”。成功完成后,它将更新队列表中的摘要和状态。 失败时,它会将状态更新为FAILURE。

  2. UI将从队列表中读取数据并显示在UI上。

  3. 问题: 1.有没有其他广告更好的设计方法。 2. D我需要有一个初始请求的队列机制,还是可以利用一些内置功能?

0 个答案:

没有答案