有没有人使用斯坦福的CoreNLP在Spark中进行情绪分析?它对我来说不起作用

时间:2017-04-28 08:11:44

标签: apache-spark twitter nlp stanford-nlp sentiment-analysis

有没有人使用stanford的CoreNLP在Spark中进行情绪分析? 它没有按预期工作,或者我需要做一些我不知道的工作。

以下是示例。

1)。我期待着与大会所管辖的州的孩子们进行互动。 - 积极 2)。我期待与国会管辖的国家的CM进行互动。 - NEGETIVE(CM是首席部长)

请注意这里的一个词的变化。孩子们 - >厘米 声明2不是negetive,但coreNLP标记为negetive。 我需要做些什么才能让它按照预期的方式工作?需要进行任何改动吗?如果我需要插入任何自定义代码,请告诉我。 如果您对此有所了解,请提出建议。 另外,建议是否还有其他更好的替代coreNLP。

感谢。 拉夫

1 个答案:

答案 0 :(得分:0)

情感模型依赖于语句中所有单词的嵌入。如果你改变一个单词,你可以从根本上改变它得到的分数。事实上,机器学习研究的整个领域正在分析这样的情况,在这种情况下,你可以做出不影响人类判断/感知但却从根本上改变学习模型选择的变化。例如,在视觉问题中,有一些方法可以改变人类难以察觉的图像,但会欺骗训练有素的模型。

重要的是要记住,虽然神经网络可以做出令人印象深刻的事情,但它并不是人类思维的完美复制。在过去的一年中,有很多这样的例子已经呈现给我,所以显然存在一些不足之处。