我对 [SEP] 令牌的意图与预训练期间应用于 BERT 输入的 Segment Embeddings 之间的差异感到困惑。
据我所知，[SEP] 标记插入在句子 A 和 B 之间，以使模型能够区分 BERT 下一句预测预训练任务的两个句子。类似地，将 Segment Embeddings 添加到输入嵌入中以改变输入，为模型创造了另一个机会来了解句子 A 和 B 是不同的事物。
然而，这些似乎促进了相同的目的。为什么不能仅在 Segment Embeddings 上训练 BERT，而忽略 [SEP] 令牌？ [SEP] 令牌在概念上提供哪些附加信息，而 Segment Embeddings 没有？
此外，无论如何都不会直接使用 [SEP] 令牌。 NSP 接受了 [CLS] 嵌入的训练，我理解这在某种程度上代表了句子连续性的嵌入。