Stanford CoreNLP Server禁用日志记录

时间:2016-05-27 12:27:56

标签: stanford-nlp corenlp-server stanford-nlp-server

我觉得服务器的日志记录非常详尽。有没有办法禁用或减少日志记录输出?似乎如果我将文档发送到服务器,它会将内容写入stdout,这可能是性能杀手。

我能以某种方式这样做吗?

更新

我找到了一种抑制服务器输出的方法。我的问题仍然是如何以及如果我可以使用命令行参数为实际服务器执行此操作。但是对于一个肮脏的解决方法,以下似乎可以减轻开销。

使用

运行服务器
java -mx6g -cp "*" edu.stanford.nlp.pipeline.StanfordCoreNLPServer -prettyPrint false 2&>1 >/dev/null

其中>/dev/null会将输出转换为空。不幸的是,仅此一点没有帮助。 2&>1似乎在这里做的伎俩。我承认我不知道它在做什么。但是,我比较了两次运行。

使用2&> 1> / dev / null运行

Processed 100 sentences
Overall time:      2.1797 sec 
Time per sentence: 0.0218 sec 
Processed 200 sentences
Overall time:      6.5694 sec 
Time per sentence: 0.0328 sec 
...
Processed 1300 sentences
Overall time:      30.482 sec 
Time per sentence: 0.0234 sec 
Processed 1400 sentences
Overall time:      32.848 sec 
Time per sentence: 0.0235 sec 
Processed 1500 sentences
Overall time:      35.0417 sec 
Time per sentence: 0.0234 sec 

在没有其他参数的情况下运行

ParagraphVectorTrainer - Epoch 1 of 6
Processed 100 sentences
Overall time:      2.9826 sec 
Time per sentence: 0.0298 sec 
Processed 200 sentences
Overall time:      5.5169 sec 
Time per sentence: 0.0276 sec 
...
Processed 1300 sentences
Overall time:      54.256 sec 
Time per sentence: 0.0417 sec 
Processed 1400 sentences
Overall time:      59.4675 sec 
Time per sentence: 0.0425 sec 
Processed 1500 sentences
Overall time:      64.0688 sec 
Time per sentence: 0.0427 sec 

这是一个非常浅薄的测试,但似乎这会产生相当大的影响。这里的差异是1.828因子,这是一个很大的差异。

然而,这只是一个快速测试,我无法保证我的结果完全正确!

进一步更新:

我认为这与JVM如何随着时间的推移优化代码有关,但每个句子的时间与我在本地机器上的时间相比。请注意,我使用2&>1 >/dev/null获得了以下结果,以消除stdout日志记录。

Processed 68500 sentences
Overall time:      806.644 sec 
Time per sentence: 0.0118 sec 
Processed 68600 sentences
Overall time:      808.2679 sec 
Time per sentence: 0.0118 sec 
Processed 68700 sentences
Overall time:      809.9669 sec 
Time per sentence: 0.0118 sec 

1 个答案:

答案 0 :(得分:2)

你现在是第三个被要求的人:) - Preventing Stanford Core NLP Server from outputting the text it receives。在GitHub仓库的HEAD中,在版本3.6.1以后,有一个-quiet标志,阻止服务器输出它收到的文本。然后可以使用SLF4J配置其他日志记录,如果它在您的类路径中。