Apertium翻译。有没有办法获得原始短语

时间:2017-11-21 17:39:39

标签: nlp translation translate apertium

在apertium translator中有没有办法获得翻译的原始短语?

即。得到类似的东西:

phrase: {
  original: { Hola, buenos días},
  translated: {Hello, good morning}
}

我需要这样才能建立一种机制来改善翻译。

1 个答案:

答案 0 :(得分:6)

如果您通过命令行界面发送语料库,例如

xzcat corpus.sme.xz | sed 's/$/ ./' | apertium -f html-noent sme-nob > translated.nob.mt

然后你可以尝试简单地

xzcat corpus.sme.xz | paste - translated.nob.mt

然后获取输出旁边的输入。假设您想要在换行符上拆分内容。 sed用于确保单词不会在换行符之间移动(规则往往不会跨越句子边界)。

这会很快,但它有点hacky并且有许多边缘情况。

如果您想要更多控制权,一种方法是在本地安装JSON API并一次发送一个请求。

如果您有最近的Debian / Ubuntu(或正在使用其中一个apertium repos),您可以使用

获取API
sudo apt install apertium-apy
sudo systemctl start apertium-apy   # start it right now
sudo systemctl enable apertium-apy  # let it start on next boot

然后你可以这样翻译:

$ echo 'Jeg liker ikke ansjos' | curl --data-urlencode 'q@-' 'localhost:2737/translate?langpair=nob|nno'
{"responseDetails": null, "responseData": {"translatedText": "Eg likar ikkje ansjos"}, "responseStatus": 200}

(或来自带有标准ajax请求的Javascript,http://wiki.apertium.org/wiki/Apertium-apy/Debianhttp://wiki.apertium.org/wiki/Apertium-apy#Usage上的一些文档)

请注意,apertium-apy默认为/ usr / share / apertium / modes中的对提供服务;如果你手动启动它(而不是通过systemctl),你可以将它指向不同的路径。

如果您想要生成示例中的JSON格式,最简单的方法是使用jqsudo apt install jq),例如

$ orig="Jeg liker ikke ansjos"
$ echo "$orig" \
  | curl -Ss --data-urlencode 'q@-' 'localhost:2737/translate?langpair=nob|nno' \
  | jq "{phrase: {original:\"$orig\", translated:.responseData.translatedText }}"
{
  "phrase": {
    "original": "Jeg liker ikke ansjos",
    "translated": "Eg likar ikkje ansjos"
  }
}

或在语料库上:

xzcat corpus.nob.xz | while read -r orig; do 
  echo "$orig" \
    | curl -Ss --data-urlencode 'q@-' 'localhost:2737/translate?langpair=nob|nno' \
    | jq "{phrase: {original:\"$orig\", translated:.responseData.translatedText}}";
done

(500行的简单测试显示,这需要23.7秒的挂钟时间,而paste版本需要5.5秒。)