我正在使用BERT对给定出现文本的单词进行特征提取，但是看来bert官方github（https://github.com/google-research/bert）中的当前实现只能计算文本中所有单词的特征，这使得它消耗太多资源。是否有可能对此目的进行调整？谢谢！
答案 0 :(得分：4)
BERT不是上下文无关的转换器，这意味着您不想像word2vec那样将其用于单个单词。的确很重要-您想将您的输入内容化。我的意思是您可以输入一个单词的句子，但是为什么不只使用word2vec。
这是自述文件的内容：
预训练的表示形式也可以是无上下文的或 上下文和上下文表示可以进一步是 单向或双向。上下文无关的模型，例如word2vec 或GloVe为每个生成单个“词嵌入”表示 词汇中的单词，因此bank在 银行存款和河岸。上下文模型会生成一个 每个单词的表示形式基于 句子。
有希望的希望：-）