使用tf-hub elmo模型是否可能以及如何减小ELMO嵌入的尺寸？

Question

我正在使用来自Tensorflow Hub的ELMO模型。

import tensorflow as tf
import tensorflow_hub as hub
from tensorflow.contrib import predictor

elmo = hub.Module("https://tfhub.dev/google/elmo/3", trainable=False)

默认输出尺寸为1024。是否有任何可能的方法可以在不使用PCA /丢失信息的情况下将ELMO嵌入的尺寸减小到128？

Answer 1

由于ELMo是 allennlp 发布的预训练模型，因此它们将基于 1024 的训练给出固定的输出尺寸。

减小输出尺寸的一种方法是尝试使用诸如PCA，tSNE，UMAP之类的降维技术，但是正如您所说的那样，这是以丢失信息为代价的。 / p>

相反，您可以从头开始训练ELMo，并提供大量要训练的数据和设备。
您可以阅读this文章，该文章从头开始解释培训ELMo。
要更改像输出维之类的超参数，可以在此file中进行其他操作。