DeepPavlov elmo太慢

Question

我尝试使用DeepPavlov库中的ELMO嵌入（ElmoEmbedder）。它的工作速度非常慢，每100个句子每秒64秒。

我试图增加mini_batch_size，但是并没有加快算法的速度。

是否可以加快ElmoEmbedder的速度？

Answer 1

mini_batch_size仅在您在GPU上运行模型时才可能对性能产生重大影响。

如果您没有GPU，请尝试使用Google Colab。它使您可以免费访问GPU和TPU。

!pip install deeppavlov

from deeppavlov.deep import find_config
from deeppavlov.core.commands.infer import build_model
config_path = find_config('elmo_ru-wiki')
model = build_model(config_path, load_trained = True, download = True)
a = model(data)

不要忘记在Edit->Notebook settings->Hardware accelerator中启用GPU