Question

我使用Stanford coreNLP系统使用以下命令：

java -cp stanford-corenlp-3.5.2.jar:stanford-chinese-corenlp-2015-04-20-models.jar -Xmx3g edu.stanford.nlp.pipeline.StanfordCoreNLP -props StanfordCoreNLP-chinese.properties -annotators segment,ssplit -file input.txt

这对小型中文文本非常有用。但是，我需要训练一个只需要我分割输入的MT系统。所以我只需要使用-annotators segment，但是使用此参数，系统会输出一个空文件。我也可以使用ssplit注释器来运行该工具，但我不想这样做，因为我的输入是一个并行包含一个逐行的语料库，ssplit可能不会完美地分割句子并在并行数据中产生问题。

有没有办法告诉系统只进行分段，或者告诉它输入已经包含了一行一行？

Answer 1

使用Stanford Segmenter代替：

$ wget http://nlp.stanford.edu/software/stanford-segmenter-2015-04-20.zip
$ unzip stanford-segmenter-2015-04-20.zip
$ echo "应有尽有的丰富选择定将为您的旅程增添无数的赏心乐事" > input.txt
$ bash stanford-segmenter-2015-04-20/segment.sh ctb input.txt UTF-8 0 > output.txt
$ cat output.txt
应有尽有 的 丰富 选择 定 将 为 您 的 旅程 增添 无数 的 赏心 乐事

除斯坦福分区外，还有许多其他分段可能更合适，请参阅Is there any good open-source or freely available Chinese segmentation algorithm available?

继续使用Stanford NLP工具进行pos标记：

$ wget http://nlp.stanford.edu/software/stanford-postagger-full-2015-04-20.zip
$ unzip stanford-postagger-full-2015-04-20.zip
$ cd stanford-postagger-full-2015-01-30/
$ echo "应有尽有 的 丰富 选择 定 将 为 您 的 旅程 增添 无数 的 赏心 乐事" > input.txt
$ bash stanford-postagger.sh models/chinese-distsim.tagger input.txt > output.txt
$ cat output.txt 
应有尽有#VV 的#DEC 丰富#JJ 选择#NN 定#VV 将#AD 为#P 您#PN 的#DEG 旅程#NN 增添#VV 无数#CD 的#DEG 赏心#NN 乐事#NN

中文句子分割器与斯坦福核心NLP

1 个答案: