我是一个新手,正在通过拥抱面孔库尝试数据输入任务的翻译模型并将文本从英语翻译成意大利语。
我根据文档尝试的代码:
from transformers import MarianTokenizer, MarianMTModel
from typing import List
#src = 'en' # source language
#trg = 'it' # target language
#saved the model locally.
#model_name = f'Helsinki-NLP/opus-mt-{src}-{trg}'
#model.save_pretrained("./model_en_to_it")
#tokenizer.save_pretrained("./tokenizer_en_to_it")
model = MarianMTModel.from_pretrained('./model_en_to_it')
tokenizer = MarianTokenizer.from_pretrained('./tokenizer_en_to_it')
#Next, trying to iterate over each column - 'english_text' of the dataset and
#translate the text from English to Italian and append the translated text to the
#list 'italian'.
italian = []
for i in range(len(data)):
batch = tokenizer(dataset['english_text'][i],
return_tensors="pt",truncation=True,
padding = True)
gen = model.generate(**batch)
italian.append(tokenizer.batch_decode(gen, skip_special_tokens=True))
这里有两个问题:
即使可以解决任何一个问题,那也是有帮助的。很想学习
答案 0 :(得分:1)
几乎所有当前的 MT 系统都是使用单个句子而非段落进行训练的。如果您输入的文本是段落,则需要先进行句子拆分。任何 NLP 库都可以(例如,NLTK、Spacy、Stanza)。在单个输入中包含多个句子会导致翻译质量变差(因为这不是模型训练的目的)。此外,Transformer 模型的复杂度与输入长度呈二次方关系(当所有内容在 GPU 上并行化时,它并不完全成立),因此输入很长时它会变得非常慢。