我是tensorflow-hub的新手，遇到过ELMo模型（https://www.tensorflow.org/hub/modules/google/elmo/2）。
根据原始论文，ELMo表示是隐藏状态激活的加权平均值，并且这些权重可以根据手头的任务（即特定于任务）进行训练。不出所料，当我使用tf.trainable_variables（）时，可以看到4个可训练参数。如何在tensorflow中准确训练这些变量？
他们只是提到这些重量是可以训练的。但是谁应该训练呢？我还是ELMo模型本身训练的？该论文似乎建议我应该对其进行培训。如果是这样，如何在tensorflow中训练它？
答案 0 :(得分：1)
您可以先将模块导入trainable = True的模型中，然后像其他任何TF模型一样train导入模型。在此训练过程中，还将对导入模块一部分重量的模型进行训练。您也可以使用this tutorial作为一个很好的起点，只需将nnlm嵌入替换为ELMo。