如何在mgiza ++或giza ++中加速mkcls步骤,它会花费大量时间进行单词聚类?

时间:2016-12-22 01:46:54

标签: machine-translation giza++ smt-language-processing

我正在使用MGIZA ++来对齐联合国平行语料库中的单词。

在使用MGIZA ++训练对齐模型之前,我需要使用mkcls脚本来创建隐马尔可夫模型算法所必需的类:

mkcls -c50 -n10 -ptest.en -Vtest.en.vcb.classes

我尝试使用1,000,000行语料库,但需要很长时间才能获得结果(当我尝试使用小数据集时,它可以正常工作)。

是否有多线程或并行工具包来执行mkcls?

0 个答案:

没有答案