为什么需要Bert格式的一次性列？

Question

我最近遇到过Bert（来自变压器的双向编码器表示形式）。我看到伯特要求火车数据使用严格的格式。所需的第三列描述如下：

第3列：具有相同字母的列－因为BERT模型需要它，所以您需要包括一个一次性的列。

什么是一次性列？为什么要在数据集中使用此列，因为它被声明包含相同的字母？

谢谢。

Answer 1

BERT接受了两项任务的预训练-屏蔽语言建模和下一句预测。

您所引用的第三列仅在“下一句预测”和需要多个句子（例如问题回答）的下游任务中使用。在这些情况下，列的值对于所有内容而言都不会只是A或0。句子1将全部为0，而句子2将全部为1，表示前者是句子A，后者是句子B。