带有变压器和PyTorch的Google Colab微调BERT库中的间歇性“ RuntimeError:CUDA内存不足”错误

时间:2020-06-19 10:34:43

标签: python machine-learning pytorch google-colaboratory

我正在运行以下代码,以在Google Colab中微调BERT Base Cased模型。有时,代码第一次运行良好,没有错误。在其他时间,使用相同数据的相同代码会导致“ CUDA内存不足”错误。以前,重新启动运行时或退出笔记本,返回到笔记本,重新启动工厂运行时,然后重新运行代码即可成功运行而不会出错。不过,刚才,我尝试重新启动并重试5次,每次都收到错误消息。

问题似乎不是我正在使用的数据和代码的组合,因为有时它可以正常工作而不会出现错误。因此,这似乎与Google Colab运行时有关。

有人知道这是为什么发生,为什么是断断续续的,和/或对此我可以做什么?

我正在使用Huggingface的transformers库和PyTorch

导致错误的代码单元:

# train the model
%%time

history = defaultdict(list)

for epoch in range(EPOCHS):

  print(f'Epoch {epoch + 1}/{EPOCHS}')
  print('-' * 10)

  train_acc, train_loss = train_epoch(
    model,
    train_data_loader,    
    loss_fn, 
    optimizer, 
    device, 
    scheduler, 
    train_set_length
  )

  print(f'Train loss {train_loss} accuracy {train_acc}')

  dev_acc, dev_loss = eval_model(
    model,
    dev_data_loader,
    loss_fn, 
    device, 
    evaluation_set_length
  )

  print(f'Dev   loss {dev_loss} accuracy {dev_acc}')

  history['train_acc'].append(train_acc)
  history['train_loss'].append(train_loss)
  history['dev_acc'].append(dev_acc)
  history['dev_loss'].append(dev_loss)

  model_filename = f'model_{epoch}_state.bin'
  torch.save(model.state_dict(), model_filename)

完整错误:


RuntimeError                              Traceback (most recent call last)
<ipython-input-29-a13774d7aa75> in <module>()
----> 1 get_ipython().run_cell_magic('time', '', "\nhistory = defaultdict(list)\n\nfor epoch in range(EPOCHS):\n\n  print(f'Epoch {epoch + 1}/{EPOCHS}')\n  print('-' * 10)\n\n  train_acc, train_loss = train_epoch(\n    model,\n    train_data_loader,    \n    loss_fn, \n    optimizer, \n    device, \n    scheduler, \n    train_set_length\n  )\n\n  print(f'Train loss {train_loss} accuracy {train_acc}')\n\n  dev_acc, dev_loss = eval_model(\n    model,\n    dev_data_loader,\n    loss_fn, \n    device, \n    evaluation_set_length\n  )\n\n  print(f'Dev   loss {dev_loss} accuracy {dev_acc}')\n\n  history['train_acc'].append(train_acc)\n  history['train_loss'].append(train_loss)\n  history['dev_acc'].append(dev_acc)\n  history['dev_loss'].append(dev_loss)\n  \n  model_filename = f'model_{epoch}_state.bin'\n  torch.save(model.state_dict(), model_filename)")

15 frames
<decorator-gen-60> in time(self, line, cell, local_ns)

<timed exec> in <module>()

/usr/local/lib/python3.6/dist-packages/transformers/modeling_bert.py in forward(self, hidden_states, attention_mask, head_mask, encoder_hidden_states, encoder_attention_mask)
    234         # Take the dot product between "query" and "key" to get the raw attention scores.
    235         attention_scores = torch.matmul(query_layer, key_layer.transpose(-1, -2))
--> 236         attention_scores = attention_scores / math.sqrt(self.attention_head_size)
    237         if attention_mask is not None:
    238             # Apply the attention mask is (precomputed for all layers in BertModel forward() function)

RuntimeError: CUDA out of memory. Tried to allocate 24.00 MiB (GPU 0; 7.43 GiB total capacity; 5.42 GiB already allocated; 8.94 MiB free; 5.79 GiB reserved in total by PyTorch)

1 个答案:

答案 0 :(得分:0)

我在变压器中遇到了同样的问题,变压器非常memory intensive。因此,在训练更大的模型或更长的 epoch 时,我们很有可能会耗尽内存或运行时间限制。

有一些很有前途的众所周知的开箱即用策略来解决这些问题,每种策略都有其自身的优势。

  • 动态填充和均匀长度批处理(智能批处理)
  • 梯度累积
  • 冻结嵌入
  • 数值精度降低
  • 梯度检查点

在一批序列上训练神经网络需要它们具有完全相同的长度来构建批处理矩阵表示。因为现实生活中的 NLP 数据集总是由可变长度的文本组成,我们经常需要通过截断它们来使一些序列更短,而另一些则通过在末尾添加一个重复的假标记(称为“pad”标记)来使它们更长。

因为pad token不代表一个真实的词,当大多数计算完成后,在计算损失之前,我们通过每个样本的“注意力掩码”矩阵乘以0来擦除pad token信号,它识别[PAD] 令牌并告诉 Transformer 忽略它们。

enter image description here

动态填充: 这里我们限制添加的 pad token 的数量以达到每个 mini batch 的最长序列的长度,而不是为整个训练集设置一个固定值 因为添加的 token 的数量在 mini batch 之间变化,我们称之为“动态”填充.

enter image description here

统一长度批处理:

我们通过生成由相似长度序列组成的批次来进一步推动逻辑,因此我们避免了极端情况,即小批量中的大多数序列都很短,我们需要向每个序列添加大量填充标记,因为 1 个序列相同小批量很长。

enter image description here