标签: machine-translation giza++ smt-language-processing
我正在使用MGIZA ++来对齐联合国平行语料库中的单词。
在使用MGIZA ++训练对齐模型之前,我需要使用mkcls脚本来创建隐马尔可夫模型算法所必需的类:
mkcls
mkcls -c50 -n10 -ptest.en -Vtest.en.vcb.classes
我尝试使用1,000,000行语料库,但需要很长时间才能获得结果(当我尝试使用小数据集时,它可以正常工作)。
是否有多线程或并行工具包来执行mkcls?