Pytorch Fairseq翻译-大量输入

时间:2019-11-28 08:23:00

标签: python machine-learning deep-learning pytorch

我想使用fairseq的翻译模型 https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md

对于小输入,它没有问题,但是对于大输入,则没有问题。我已经尝试增加

  • max_source_positions
  • max_target_positions

属性,但是不起作用。它将文本剪切到某个位置。

文本大约有1000个字,这是我的代码:

en2de = torch.hub.load('pytorch/fairseq', 'transformer.wmt19.en-de',  
                   checkpoint_file='model1.pt:model2.pt:model3.pt:model4.pt', tokenizer='moses', bpe='fastbpe',
                   max_source_positions=10000,
                   max_target_positions=10000).cuda()
text = "Some text with 1000 words"
translated_text = en2de.translate(text)

如果我加载模型,则可以在输出中看到已设置属性。已经https://github.com/pytorch/fairseq/issues/591提到了使用max_source_positions和max_target_positions的解决方案。

0 个答案:

没有答案