对于语言识别,我正在使用以下教程:
Fasttext language detection tutorial
按照教程中的说明执行命令后: ./fasttext测试langdetect.bin valid.txt
我有以下输出: N 10000 P @ 1 0.967 R @ 1 0.967
之后,哪些命令将预测语言?如何输入其他语言的文字?
我对这种语言检测非常陌生。我可以在Python预测中找到足够的教程,但在Linux命令行中找不到。
谢谢。
答案 0 :(得分:1)
语言检测是使用监督模型(here you can find the tutorial)进行文本分类的一种特殊情况。
根据教程,您可以通过输入以下内容预测新示例:
./fasttext predict-prob langdetect.bin - -1 0.5
(我们想要尽可能多的预测(参数-1),并且只希望概率大于或等于0.5的标签)
然后输入句子。
如果您的txt文件带有要分类的句子,则可以输入:
$ ./fasttext predict-prob langdetect.bin test.txt k
其中k是要显示的类的数量。
此cheatsheet也可能有用。