标签： apache-spark gpu resource-management
我有一个非常复杂的管道，可以对给定的数据执行多种机器学习算法。其中一个算法使用GPU进行处理。我想以某种方式区分我的集群中的几个节点与可用的GPU单元，因此算法只能在这些分区上运行。是否可以使用Spark？
我知道在一般的计算环境中拥有特定资源或多或少都不常见，但这个算法偶尔会运行一次并且在其他时间保持不变 - 我想要使用这些节点也是。