使用R的累积字数

时间:2015-11-06 19:21:57

标签: r rvest

有没有办法获取文字的累积字数?我有一个我试图分析的文本,我想找到文本中总词数的累积计数以及文本中某些词的累积计数。

目前我有3个独立的数据框。第一个包含文本文档中的所有单词,一个“count”列,其中包含1个,以及一个“total”列,它给出“count”列的累积和。其他两个数据框完全相同,只是它们只包含我在文本中寻找的所有特定单词。

目标是制作一个图表,显示整个文本中两个特定单词的使用关系。

感谢任何帮助。以下是我到目前为止的情况。

URL <- 'http://shakespeare.mit.edu/romeo_juliet/full.html'
romeo <- htmlParse(URL)
txPath <- "//blockquote//a"
txValue <- xpathApply(romeo, txPath, xmlValue)
txValue <- strsplit(gsub('\\n','',txValue), split="  ")

words <- unlist(str_extract_all(txValue,'(\\w+)\'*(\\w+)'))
vWord <- tolower(words)
rCount <- unlist(str_extract_all(vWord,'(romeo)'))
lCount <- unlist(str_extract_all(vWord,'(love)'))

rDF <- as.data.frame(rCount) %>%
  mutate(count=1) %>%
  mutate(tot=cumsum(count))
lDF <- as.data.frame(lCount) %>%
  mutate(count=1) %>%
  mutate(tot=cumsum(count))
wordsDF <- as.data.frame(vWord) %>%
  mutate(count=1) %>%
  mutate(tot=cumsum(count))

2 个答案:

答案 0 :(得分:3)

这显示了如何使用stringi(比内置字符串操作更快和更灵活)进行语料库切片&amp;切割和绘制您正在寻找的比较的一种方法:

library(xml2)
library(rvest)
library(dplyr)
library(stringi)
library(ggplot2)

URL <- 'http://shakespeare.mit.edu/romeo_juliet/full.html'
wherefore <- read_html(URL)

txt <- stri_trim(html_text(html_nodes(wtxtherefore, "blockquote > a")))

corpus <- data_frame(word=stri_trans_tolower(unlist(stri_extract_all_words(txt))),
                     count=1)
corpus$word_number <- 1:nrow(corpus)

cumsum_corpus <- mutate(group_by(corpus, word), cumsum=cumsum(count))

gg <- ggplot(filter(cumsum_corpus, word %in% c("romeo", "juliet")),
             aes(x=word_number, y=cumsum))
gg <- gg + geom_line(aes(color=word), size=0.75)
gg <- gg + geom_point(aes(fill=word), shape=21, color="white", size=1.5)
gg <- gg + scale_x_continuous(limits=c(1, nrow(corpus)))
gg <- gg + theme_bw()
gg

enter image description here

答案 1 :(得分:2)

如果您包含数据和所需的输出,这将有所帮助。但是根据我的理解,您是否可以使用“第一个”data.frame来执行诸如(通过dplyr)之类的操作:

我对你的'第一个'data.frame:

的看法
df <- data.frame(word = c("a", "b", "c", "a", "a", "c", "d", "b", "a"),
                 count = rep(1,9))

library(dplyr)
df %>% group_by(word) %>% mutate(cumsum= cumsum(count))

输出:

    word count cumsum
      (fctr) (dbl)  (dbl)
    1      a     1      1
    2      b     1      1
    3      c     1      1
    4      a     1      2
    5      a     1      3
    6      c     1      2
    7      d     1      1
    8      b     1      2
    9      a     1      4

而且,因为我需要强迫自己学习data.table,这是使用它的解决方案:

 library(data.table)
 setDT(df)[, cumsum:=cumsum(count), by=word]