Question

首先，我曾使用过像'model.cuda（）'这样的模型和数据转换为cuda。但是它仍然有这样的问题。我调试模型的每一层，每个模块的权重为iscuda = True。那么有人知道为什么会出现这样的问题吗？

我有两种模型，一种是resnet50，另一种包含第一个模型作为主干。

class FC_Resnet(nn.Module):
    def __init__(self, model, num_classes):
        super(FC_Resnet, self).__init__()

        # feature encoding
        self.features = nn.Sequential(
            model.conv1,
            model.bn1,
            model.relu,
            model.maxpool,
            model.layer1,
            model.layer2,
            model.layer3,
            model.layer4)

        # classifier
        num_features = model.layer4[1].conv1.in_channels
        self.classifier = nn.Sequential(
            nn.Conv2d(num_features, num_classes, kernel_size=1, bias=True))

    def forward(self, x):
        # children=self.features.children()
        # for child in children:
        #     if child.weight is not None:
        #         print(child.weight.device)
        x = self.features(x)
        x = self.classifier(x)
        return x

def fc_resnet50(num_classes=20, pre_trained=True):
    model = FC_Resnet(models.resnet50(pre_trained), num_classes)

    return model

还有一个：

class PeakResponseMapping(nn.Sequential):
    def __init__(self, *args, **kargs):
        super(PeakResponseMapping, self).__init__(*args)
        ...

    def forward(self, input, class_threshold=0, peak_threshold=30, retrieval_cfg=None):
        assert input.dim() == 4
        if self.inferencing:
            input.requires_grad_()

        class_response_maps = super(PeakResponseMapping, self).forward(input)

        return class_response_maps

主要很简单：

def main():
    dataset = VOC(img_transform=image_transform())
    dataloader = DataLoader(dataset, batch_size=BATCH_SIZE, shuffle=True)

    model = peak_response_mapping(fc_resnet50(), win_size=3, sub_pixel_locating_factor=8, enable_peak_stimulation=True)
    model=model.cuda()

    for step, (b_x, b_y) in enumerate(dataloader):
        b_x.cuda()
        b_y.cuda()

        result = model.forward(b_x)

Answer 1

您需要将b_x.cuda()分配回b_x：

b_x = b_x.cuda()
b_y = b_y.cuda()

查看.cuda()的文档：

在CUDA内存中返回此对象的副本。

因此，b_x.cuda()返回b_x的副本，并且不会以就地的方式影响b_x。< / p>

Answer 2

在堆栈跟踪中的某个地方，Torch期望使用CPU张量（torch.FloatTensor），但正在获得GPU / CUDA张量（torch.cuda.FloatTensor）。

给出张量tensor：

tensor.to('cpu')返回张量的CPU版本
tensor.to('cuda')返回张量的CUDA版本

要编写与硬件无关的代码：

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

那么您可以做：

tensor.to(device)

对于OP，它变为：

result = model.forward(b_x.to(device))

类型为torch.FloatTensor的预期对象，但为参数＃2'weight'找到类型为torch.cuda.FloatTensor的对象

2 个答案: