我想使用fairseq
的翻译模型
https://github.com/pytorch/fairseq/blob/master/examples/translation/README.md
对于小输入,它没有问题,但是对于大输入,则没有问题。我已经尝试增加
属性,但是不起作用。它将文本剪切到某个位置。
文本大约有1000个字,这是我的代码:
en2de = torch.hub.load('pytorch/fairseq', 'transformer.wmt19.en-de',
checkpoint_file='model1.pt:model2.pt:model3.pt:model4.pt', tokenizer='moses', bpe='fastbpe',
max_source_positions=10000,
max_target_positions=10000).cuda()
text = "Some text with 1000 words"
translated_text = en2de.translate(text)
如果我加载模型,则可以在输出中看到已设置属性。已经https://github.com/pytorch/fairseq/issues/591提到了使用max_source_positions和max_target_positions的解决方案。