我正在编写一个SCDF spi实现来支持流和任务应用程序。作为其中的一部分,我们需要在任务完成后执行一些清理操作。
有人可以提供有关SCDF是否会在任务完成时获得回调的信息。如果没有,那么有哪些替代方法可以进行清理。
答案 0 :(得分:1)
任务是一种短命且有限的操作。根据您要完成的任务,您可以执行以下操作之一来调用任何自定义清理例程。
1)运行批处理作业的任务,在该作业中,您可以将“n”个步骤定义为工作流的一部分,并且在成功的上游步骤后,最后一步可以调用清理例程。
2)您可以stream in SCDF听取任务完成events (批处理作业示例here),这可以最终启动另一项任务/ job调用清理例程。
3)您可以定义composed-task图表(通过Dashboard / shell),其中每个步骤(也称为任务)都可以运行其预期的操作,并且成功转换或失败事件,你有机会开始清理程序。