Question

我正在使用文本分类对阿拉伯语进行分类，到目前为止，我有4种方言。但是，现在我希望分类器检测那些方言的形式（标准或语法）语言，称为MSA（现代标准阿拉伯语）。

我应该使用语法分析吗？建立语言模型？还是通过收集MSA推文来对方言做同样的事情，然后对其进行训练？

Answer 1

您可以为每种语言的方言训练语言模型。然后，给定一个句子，找到每种语言模型返回的（对数）概率，并将其分配给返回高分的语言模型。

p* = argmax p_i p_i(sentence)

其中p_i是方言i的语言模型。

语言模型是单词序列上的概率分布。给定一个长度为m的句子，它将给整个序列分配一个概率P(w1, ... ,wm)。因此该句子属于P_i(w)高的方言，其中P_i是方言i的语言模型。