HTCondor分散收集器

时间:2020-01-21 09:40:01

标签: condor

我正在开发一个项目,我需要将视频分辨率从1080p降低到720p。使用命令“ ffmpeg -I inputVideo.mp4 -r 60 -s hd720 outputVideo.mp4”,该部分非常简单。

现在,这个想法是使用HTCondor,因此每个资源都会接收一部分视频(散点),降低其质量并返回,因此最终所有部分都可以放在一起,以制作完整的720p视频(聚集)。问题是,每个节点都返回其自己的段,因此如何使返回值等于总路段视频。我考虑过使用.dag文件,因此在执行后,它将运行将其合并的脚本,但是据我了解,documentation是在每个节点上而不是在所有节点上运行的我猜这是客户。

所以我想问一下,您有什么建议,以便可以合并输出视频文件。

1 个答案:

答案 0 :(得分:1)

我认为您与达格曼走上正轨。从像文档中这样的钻石开始:

https://htcondor.readthedocs.io/en/stable/users-manual/dagman-applications.html#the-dag-input-file-basic-commands

但是也许您想要两个以上的节点来进行处理-散射。当每个HTCondor作业完成时,输出将发送回提交计算机。您可以将所有这些发送到最终组装的HTCondor工作者节点,或者,如果该组装不是cpu繁重的活动,则只需在所有中间输出所在的提交计算机上运行它即可。在HTCondor中,“本地Universe”作业看起来像正常作业,但在提交计算机上运行。可能依赖于所有分散节点的最终节点可能是本地Universe工作。

在dagman的培训课程中,有一个类似的带有mandlebrot集的图像处理示例。此链接可以为您提供一些好主意:

https://opensciencegrid.org/user-school-2019/#materials/day4/part4-ex1-simple-dag/

相关问题