我有两个可用的GPU,我想在推理过程中都使用它们来获得最大的吞吐量。这就是为什么我要使用multi_gpu_model的原因,它应该在一个GPU上处理批处理的一半,而在另一个GPU上处理另一批。
但是,仅使用一个GPU(使用nvidia-smi检查)。
我可以用以下代码复制它
class Metrics(models.Model):
user = models.ForeignKey(User, on_delete='', default='', null=True)
upload_date = models.DateField(auto_now_add=True)
city = models.CharField(max_length=200)
agent_login = models.CharField(max_length=200)
call_eq = models.IntegerField(null=True)
zakaz_1 = models.IntegerField(null=True)
otkaz_1 = models.IntegerField(null=True)
zakaz_2 = models.IntegerField(null=True)
otkaz_2 = models.IntegerField(null=True)
zakaz_3 = models.IntegerField(null=True)
otkaz_3 = models.IntegerField(null=True)
zakaz_4 = models.IntegerField(null=True)
otkaz_4 = models.IntegerField(null=True)
zakaz_5 = models.IntegerField(null=True)
total = models.IntegerField(null=True)
我希望它使用两个GPU,但仅使用1个。这是bug还是预期的行为?如何更改此示例以使用多个GPU?