我正在尝试在文本语料库上构建SVM模型。为此,我使用以下控制参数构建了DocumentTermMatrix:
control <- list(stopwords = TRUE,
removePunctuation = TRUE,
removeNumbers = TRUE,
minDocFreq = 2,
stemming = TRUE,
weighting = function(x) weightTfIdf(x, normalize = FALSE))
在此之后,当我查看创建的DTM矩阵时,我可以看到诸如“你&#39;,&#39;你 - &#39;,&#39; youll&#39;等等。 ,我很惊讶地看到这些话,因为我已经指明了词干和&amp;删除标点符号。有人能告诉我为什么我仍然看到无关紧要的词语吗?
sessionInfo输出:
> sessionInfo()
R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)
locale:
[1] LC_COLLATE=English_India.1252
[2] LC_CTYPE=English_India.1252
[3] LC_MONETARY=English_India.1252
[4] LC_NUMERIC=C
[5] LC_TIME=English_India.1252
attached base packages:
[1] stats graphics grDevices utils
[5] datasets methods base
other attached packages:
[1] ggplot2_0.9.3.1 e1071_1.6-1
[3] class_7.3-7 tm_0.5-8.3
loaded via a namespace (and not attached):
[1] colorspace_1.2-2 dichromat_2.0-0
[3] digest_0.6.3 grid_3.0.1
[5] gtable_0.1.2 labeling_0.1
[7] MASS_7.3-28 munsell_0.4
[9] plyr_1.8 proto_0.3-10
[11] RColorBrewer_1.0-5 reshape2_1.2.2
[13] rJava_0.9-4 RWeka_0.4-18
[15] RWekajars_3.7.9-1 scales_0.2.3
[17] slam_0.1-28 Snowball_0.0-9
[19] stringr_0.6.2 tools_3.0.1
更新: 我通过调用库(packageName)附加了Snowball_0.0-9和SnowballC_0.5包,但我仍然没有看到任何改进。任何帮助都非常感谢。我甚至尝试在传递列表时更改控制参数顺序,但仍然没有运气。或者可能是我误解了干扰过程(英语)?
更新2:
Charles Dickens&#34; Bleak House&#34;
的示例文本 亲爱的,亲爱的,想想我们之后一起经过多少时间,以及我多久经常向娃娃重复我生日的故事并向她倾诉我会尽我所能努力修复我出生时的错误(其中我承认自己内疚而且无辜)并且会在我成长为勤劳,满足,善良并为某人做些好事的时候努力,并赢得一些爱如果可以,我自己。我希望在我想到它的时候摆脱这些眼泪并不是自我放纵。我非常感激,我很开心,但我不能帮助他们来到我的眼前。有!我现在把它们擦干净了,可以再次正常使用了。&#34;
示例文本2来自亨利詹姆斯&#34;死者的祭坛&#34;
&#34;他有一种致命的厌恶,可怜的Stransom,精益纪念日,并且当他们伪装成一个人物时,他们更爱他们。庆祝和压制对他来说同样痛苦,但前者中的一个人在他的生活中找到了一席之地。他每年都以自己的方式保留玛丽安特里姆去世的日子。或许可以说,这个场合使他保持下去:这使得他至少在做其他事情时保持有效。它一次又一次地抓住了他,一只手已经软化但从未放松过触摸。他有意识地醒悟到他的记忆盛宴,就像他对早婚的清醒一样。婚姻已经陈旧但却无法对此事说:对于那个曾经是他新娘的女孩来说,没有新娘拥抱。在结婚日被修复后,她已经死于恶性发烧,并且在相当品尝之前他已经失去了一种承诺将满足他的生命的感情。&#34;
马克吐温&#34; TOM SAWYER&#34;&#34;
的示例文本3&#34;老太太拉下眼镜,看着房间里面的人;然后她把它们抬起来,看着它们。她很少或从未透过他们看过像男孩这么小的事情;他们是她的状态对,是她内心的骄傲,是为#34;风格而建造的,&#34;不服务 - 她也可以通过一对炉盖看到它。她看上去困惑了一会儿,然后说道,不是很凶,但声音仍然足以让家具听到:
&#34;好吧,如果我抓住你,我会躺下来,我会 - &#39;
她没有说完,因为这时她正在弯下腰,用扫帚在床下冲,所以她需要呼吸来打断拳。她只复活了猫。
&#34;我从未见过那个男孩的节拍!&#34;
她走到敞开的门口,站在里面看着番茄藤蔓和#14; jimpson&#34;构成花园的杂草。没有汤姆。所以她以一个为距离计算的角度抬起她的声音并大喊:
&#34; Y-o-u-u TOM!&#34;
她身后发出轻微的声响,她及时转过身来,抓住他的环形交叉路口处的一个小男孩并逮捕他的航班。
&#34;还有!我可能会&#39;想到那个壁橱。你在那里做了什么?&#34;
&#34;没有什么&#34;
&#34;没有!看看你的手。看看你的嘴巴。那辆卡车是什么?&#34; &#34;
来自奥斯卡王尔德&#34;快乐王子和其他故事的示例文本4&#34;
&#34;然后他看到高柱上的雕像。
“我会把它放在那里,”他喊道。 “这是一个很好的位置,有充足的新鲜空气。”所以他在快乐王子的脚下下了车。 “我有一间金色的卧室,”他环顾四周地轻声说道,他准备去睡觉;但正当他把头放在他的翅膀下时,一大滴水落在他身上。 “多么好奇!”他喊道。 “天空中没有一朵云,星星非常清澈明亮,但正在下雨。欧洲北部的气候非常糟糕。里德曾经喜欢下雨,但这只是她的自私。“然后又下降了。
“如果雕像无法防雨,它的用途是什么?”他说; “我必须寻找一个好的烟囱,”他决定飞走。
但是在他打开翅膀之前,第三滴掉了下来,他抬起头,看见了啊!他看到了什么?
快乐王子的眼睛里满是泪水,眼泪顺着金色的脸颊流下来。他的脸在月光下如此美丽,小燕子充满了怜悯。“你是谁?”他说。
“我是快乐的王子。”
“你为什么要哭呢?”燕子问道。 “你已经把我弄湿了。”&#34;
Plato&#34; Laws&#34;
中的示例文本5&#34; MEGILLUS:我认为我可以到达第四个头部,这是经常忍受的痛苦,在我们斯巴达人中展现出某些肉搏战;同时也在趁着获得良好殴打的前景;还有所谓的Crypteia或秘密服务,其中显示了美妙的耐力, - 白天和白天,人们在整个国家徘徊,即使在冬天,他们的脚也没有鞋子,没有床可躺,而且必须自己照看。奇妙的是,我们的公民在赤身裸体的运动中表现出的忍耐力,与暴力的夏季炎热相抗衡;并且有许多类似的实践,可以说它们是无穷无尽的。
ATHENIAN:很棒,O Lacedaemonian Stranger。但是我们应该如何定义勇气呢?它是否只被视为对抗恐惧和痛苦,或者反对欲望和快乐,反对恭维;他们运用如此巨大的力量,甚至让那些受人尊敬的公民的心像蜡一样融化? &#34;