Apache Aurora GPU资源

时间:2015-06-15 09:38:23

标签: mesos aurora

我正在检查Apache Aurora的运行科学工作流程的范围(假设一组特定序列的python脚本)。我成功地设法运行了一些极光乔布斯,它看起来很适合我的特定用例。

我想知道是否有办法指定某个特定任务(或一般工作)需要来自我的Apache Mesos集群的大量GPU资源当然Mesos需要先了解GPU资源,然后才能似乎可以通过定义here所示的GPU资源来实现这一点。

所以问题是,是否有办法通过Aurora与Mesos通信,以接受可用GPU资源的优惠。据我所知,Aurora中的Resource对象仅限于CPU / Ram / Disk资源。任何提示都非常感谢。

谢谢!

2 个答案:

答案 0 :(得分:1)

检查Aurora tutorial时,我假设您可以将此资源指定为工作描述的一部分:     resources = Resources(cpu = 2, ram = 4*GB, disk = 8*GB, gpu = 1),

请记住,这是Mesos的人工资源,因此在这种情况下Mesos不会处理资源隔离。例如,如果一个系统上有多个GPU,则代码必须管理不同GPU之间的隔离/调度。

答案 1 :(得分:0)

我不熟悉Apache Aurora,但Mesosphere Marathon(功能上类似于Aurora的框架)也仅限于cpu,mem和磁盘资源。

如果您想使用自定义资源,您可能需要编写自己的框架。根据您的需要,可能不会那么困难。如需灵感,请查看RENDLER框架。

正如您所引用的主题所述,Mesos不为GPU(实际上是任何自定义)资源提供隔离。在进行资源数学时请记住这一点。