培训情绪分析数据

时间：2011-09-26 06:18:54

标签： nlp machine-learning text-analysis sentiment-analysis training-data

我在哪里可以获得已被归类为公司域中情绪的正面/负面的文档集？我想要一大堆文件，为公司提供评论，例如分析师和媒体提供的公司评论。

我找到了对产品和电影进行评论的语料库。是否有业务领域的语料库，包括符合业务语言的公司评论？

6 个答案:

答案 0 :(得分：36)

http://www.cs.cornell.edu/home/llee/data/

http://mpqa.cs.pitt.edu/corpora/mpqa_corpus

你可以使用带有表情符号的twitter，如下所示：http://web.archive.org/web/20111119181304/http://deepthoughtinc.com/wp-content/uploads/2011/01/Twitter-as-a-Corpus-for-Sentiment-Analysis-and-Opinion-Mining.pdf

希望能让你开始。如果你对特定的子任务感兴趣，比如否定，情感范围等，那么在文献中还有更多内容。

为了专注于公司，您可以将方法与主题检测结合起来，或者只是对一家公司的很多提及。或者您可以通过Mechanical Turkers注释您的数据。

答案 1 :(得分：22)

这是几周前我从my blog写的一个列表。其中一些数据集最近已包含在NLTK Python平台中。

辞书

刘冰的意见词典
- 网址：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#lexicon
- 论文：Mining and summarizing customer reviews
- 注意：包含在NLTK Python平台
MPQA主观性词典
- 网址：http://mpqa.cs.pitt.edu/#subj_lexicon
- 论文：Recognizing Contextual Polarity in Phrase-Level Sentiment Analysis (Theresa Wilson, Janyce Wiebe, and Paul Hoffmann, 2005)。
<强> SentiWordNet
- 网址：http://sentiwordnet.isti.cnr.it
- 注意：包含在NLTK Python平台
哈佛大将军询问者
- 网址：http://www.wjh.harvard.edu/~inquirer
- 论文：The General Inquirer: A Computer Approach to Content Analysis (Stone, Philip J; Dexter C. Dunphry; Marshall S. Smith; and Daniel M. Ogilvie. 1966)
语言查询和单词计数（LIWC）
- 网址：http://www.liwc.net
Vader Lexicon
- 网址：https://github.com/cjhutto/vaderSentiment，http://comp.social.gatech.edu/papers
- 论文：Vader: A parsimonious rule-based model for sentiment analysis of social media text (Hutto, Gilbert. 2014)

的数据集

MPQA数据集
- 网址：http://mpqa.cs.pitt.edu
- 注意：GNU公共许可证。
  - 政治辩论数据
  - 产品辩论数据
  - 主观感觉注释
Sentiment140 （推文）
STS-Gold （推文）
- 网址：http://www.tweenator.com/index.php?page_id=13
- 论文：Evaluation datasets for twitter sentiment analysis (Saif, Fernandez, He, Alani)
- 注意：作为Sentiment140，但数据集较小且带有人类注释器。它附带3个文件：推文，实体（带有情感）和聚合集。
客户评论数据集 （商品评论）
- 网址：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
- 论文：Mining and summarizing customer reviews
- 注意：评论标题，产品功能，带有意见强度的正面/负面标签，其他信息（比较，代名词解析等）
包含在NLTK Python平台
利弊数据集 （利弊句）
- 网址：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
- 论文：Mining Opinions in Comparative Sentences (Ganapathibhotla, Liu 2008)
- 注意：标记为<pros>或<cons>
包含在NLTK Python平台
比较句 （评论）
- 网址：http://www.cs.uic.edu/~liub/FBS/sentiment-analysis.html#datasets
- 论文：Identifying Comparative Sentences in Text Documents (Nitin Jindal and Bing Liu)，Mining Opinion Features in Customer Reviews (Minqing Hu and Bing Liu)
- 注意：句子，POS标记的句子，实体，比较类型（非等同，等同，最高级，不可分级）
包含在NLTK Python平台
Sanders Analytics Twitter Sentiment Corpus （推文）
- 网址：http://www.sananalytics.com/lab/twitter-sentiment
5513手分类推文有4个不同的主题。由于Twitter的ToS，包含一个小的Python脚本来下载所有的推文。情绪分类本身是免费提供的，没有任何限制。它们可用于商业产品。它们可能会被重新分配。它们可能会被修改。
西班牙语推文 （推文）
- 网址：http://www.daedalus.es/TASS2013/corpus.php
SemEval 2014 （推文）
- 网址：http://alt.qcri.org/semeval2014/task9
您不得重新分发推文，注释或获得的语料库（来自自述文件）
各种数据集 （评论）
- 网址：https://personalwebs.coloradocollege.edu/~mwhitehead/html/opinion_mining.html
- 论文：Building a General Purpose Cross-Domain Sentiment Mining Model (Whitehead and Yaeger)，Sentiment Mining Using Ensemble Classification Models (Whitehead and Yaeger)
各种数据集＃2 （评论）
- 网址：http://www.text-analytics101.com/2011/07/user-review-datasets_20.html

<强>参考文献：

Keenformatics - Sentiment Analysis lexicons and datasets（我的博客）
个人经历

答案 2 :(得分：12)

以下是其他一些内容;

http://inclass.kaggle.com/c/si650winter11

http://alias-i.com/lingpipe/demos/tutorial/sentiment/read-me.html

答案 3 :(得分：4)

如果您有关于要探索的域的一些资源（媒体渠道，博客等），您可以创建自己的语料库。我在python中这样做：

使用Beautiful Soup http://www.crummy.com/software/BeautifulSoup/来解析我想要分类的内容。
将这些句子分开，表示对公司的正面/负面意见。
使用NLTK处理这些句子，标记单词，POS标记等。
使用NLTK PMI计算仅在一个班级中频繁出现的双字母或三字母

创建语料库是一项预处理，检查，标记等方面的艰苦工作，但具有为特定域准备模型多次提高准确性的好处。如果您已经准备好了语料库，请继续进行情绪分析;）

答案 4 :(得分：1)

我不知道任何此类语料库是免费提供的，但您可以在未标记的数据集上尝试unsupervised method。

答案 5 :(得分：0)

您可以从Datafiniti获得大量在线评论。大多数评论都附有评级数据，这将提供更多的情绪粒度而非正/负。这是一个list of businesses with reviews，这里是list of products with reviews。