我们有一个Azure批处理作业,它使用一些非常大的文件,我们将异步上传到Azure Blob存储,这样我们就不必等待所有文件上传,然后才开始批量作业。处理每个文件并生成输出的任务集合。到目前为止一切都很好 - 这很好。
我希望能够创建Azure任务并将其添加到现有的运行Azure作业,增加任务列表的长度,但我无法找到如何执行此操作。 Azure似乎希望您在作业启动之前为任务定义所有作业,然后运行直到所有任务完成并终止作业(这在某些情况下是有意义的 - 但不是我的)。
我想取消此作业完成行为,并能够为同一作业排队其他Azure任务。然后,我可以监视Azure作业状态(通过任务),并确定自己作业是否完整。
我们的问题是上传多MB文件需要时间,我们希望任务处理在第一个文件可用时立即启动。如果我们必须等到所有文件都可用,那么我们的处理开始就会延迟,这不是我们需要的。
我们可以在每个任务中创建一份工作并在我们的应用程序中管理它,但这有点“混乱”。如果可能的话,我想使用封装的Azure作业实体和支持功能。
有没有人这样做并且可以提供一些指导?非常感谢?