(Python)如何从多台计算机共享CPU / GPU资源以进行数据预处理/模型训练?

时间:2018-11-25 05:26:28

标签: python tensorflow parallel-processing data-science training-data

在我(数据科学)团队中,每个同事都有一台PC(CPU:i7-7800X,GPU:1080Ti * 2),而PC上有很多空闲时间(办公时间后,离开队友等。

一些同事将训练 python 机器学习模型/数据处理在很大程度上依赖于CPU / GPU资源(在其本地计算机上)。

是否可以在整个团队之间共享资源,以便可以更快地处理他们的工作?就像他们可以安装一个长时间运行的进程来侦听新作业一样,我们的程序可以使用某些API进行调用以分配多台计算机CPU / GPU,以便可以更快地对其进行处理。

感谢您的回答。

(这不完全是数据科学,更多的是并行计算问题,所以我放在这里)

0 个答案:

没有答案