BERT是否隐式建模字数统计？

Question

鉴于BERT是双向的，它是否隐式建模某些给定文本中的字数？我是在将数据列描述分类为有效还是无效的情况下询问的。我正在寻找一个基于字数的模型，并且想知道如果BERT是双向的，是否甚至还需要这样做。

Answer 1

BERT默认情况下考虑“单词片段”标记化，而不考虑“单词”标记化。 BERT提供max-sequence length属性，该属性用于限制给定句子中单词标记的数量，它还确保处理相同数量的标记。