Question

我在Oozie中实现自定义异步操作时遇到问题。我的类从ActionExecutor扩展，并覆盖initActionType，start，end，check，kill和isCompleted方法。

在start方法中，我想开始一个YARN作业，这是通过我的BiohadoopClient类实现的。为了使调用异步，我将client.run（）方法包装在Callable：

中

public void start(final Context context, final WorkflowAction action) {
...
  Callable<String> biohadoop = new Callable<String>() {
    BiohadoopClient client = new BiohadoopClient();
    client.run();
  }

  // submit callable to executor
  executor.submit(biohadoop);

  // set the start data, according to https://oozie.apache.org/docs/4.0.1/DG_CustomActionExecutor.html
  context.setStartData(externalId, callBackUrl, callBackUrl);
...
}

这很好用，例如当我以fork / join方式使用自定义操作时，操作的执行并行运行。

现在，问题是，Oozie仍然处于RUNNING状态。将其改为完成状态似乎是不可能的。 Oozie从不调用check（）方法，end（）方法也是如此。在Callable中手动设置context.setExternalStatus（），context.setExecutionData（）和context.setEndData（）并没有帮助（在client.run（）完成之后）。我还尝试手动排队ActionEndXCommand，但没有运气。

当我在start（）方法中等待Callable完成时，状态会正确更新，但fork / join中的执行不再是并行的（这似乎是逻辑，因为执行等待Callable完成）。

How external clients notify Oozie workflow with HTTP callback没有帮助，因为使用回调似乎没有任何改变（好吧，我可以看到它发生在日志文件中，但除此之外，什么都没有......）。另外，答案提到，SSH操作是异步运行的，但我还没有发现它是如何完成的。在Callable中有一些包装，但最后，Callable的call（）方法被直接调用（没有提交给Executor）。

到目前为止，我还没有找到任何编写异步自定义操作的示例。有人可以帮帮我吗？

由于

修改

以下是initActionType（），start（），check（），end（）的实现，可以在start（）动作中找到可调用的实现。

在start（）动作中将callable提交给执行者，之后调用其shutdown（）方法 - 因此执行者在Callable完成后关闭。下一步，调用context.setStartData（externalId，callBackUrl，callBackUrl）。

private final AtomicBoolean finished = new AtomicBoolean(false);

public void initActionType() {
    super.initActionType();
    log.info("initActionType() invoked");
}

public void start(final Context context, final WorkflowAction action)
        throws ActionExecutorException {
    log.info("start() invoked");

    // Get parameters from Node configuration
    final String parameter = getParameters(action.getConf());

    Callable<String> biohadoop = new Callable<String>() {
        @Override
        public String call() throws Exception {
            log.info("Starting Biohadoop");

            // No difference if check() is called manually
            // or if the next line is commented out
            check(context, action);

            BiohadoopClient client = new BiohadoopClient();
            client.run(parameter);
            log.info("Biohadoop finished");             

            finished.set(true);
            // No difference if check() is called manually
            // or if the next line is commented out
            check(context, action);

            return null;
        }
    };

    ExecutorService executor = Executors.newCachedThreadPool();
    biohadoopResult = executor.submit(biohadoop);
    executor.shutdown();

    String externalId = action.getId();
    String callBackUrl = context.getCallbackUrl("finished");
    context.setStartData(externalId, callBackUrl, callBackUrl);
}

public void check(final Context context, final WorkflowAction action)
        throws ActionExecutorException {
    // finished is an AtomicBoolean, that is set to true,
    // after Biohadoop has finished (see implementation of Callable)
    if (finished.get()) {
        log.info("check(Context, WorkflowAction) invoked - 
            Callable has finished");
        context.setExternalStatus(Status.OK.toString());
        context.setExecutionData(Status.OK.toString(), null);
    } else {
        log.info("check(Context, WorkflowAction) invoked");
        context.setExternalStatus(Status.RUNNING.toString());
    }
}

public void end(Context context, WorkflowAction action)
        throws ActionExecutorException {
    log.info("end(Context, WorkflowAction) invoked");
    context.setEndData(Status.OK, Status.OK.toString());
}

Answer 1

有一件事 - 我可以看到你在提交工作后立即关闭执行人 - executor.shutdown();。这可能导致了这个问题。您可以尝试将此语句移至end()方法吗？

Answer 2

最后，我没有找到问题的“真正”解决方案。对我有用的解决方案是实现一个动作，它使用Java Executor框架并行调用Biohadoop实例。在调用之后，我等待（仍在操作中）线程完成

Oozie自定义异步动作

2 个答案: