使用R解析语音记录

时间:2019-01-08 17:35:51

标签: r text-parsing quanteda

我有几种语音的大笔录,试图将其转换成数据帧格式,其中每一行代表一种语音/话语,而相应的发言人姓名在一列中。

以下是当前结构的文本快照:

"sr. presidente domínguez.- "
" Tiene la palabra el señor diputado por Buenos Aires."
""
"sr. ATANASOF, ALFREDO NESTOR.- "
" Señor presidente: también quiero adherir en nombre del Frente Peronista a este homenaje al Gringo Soria. "
"   Me tocó compartir con él  muchos años de trabajo en esta Cámara y luego funciones en el Poder Ejecutivo nacional. Realmente, durante esos años pude descubrir los valores del Gringo: un gran militante y peronista, quien siempre anteponía la resolución de los temas a las situaciones de conflicto."
"   Hemos sentido mucho dolor cuando nos enteramos de esta desgraciada situación. Por ello, en nombre de nuestro bloque, quiero adherir al homenaje que hacemos a un amigo. Justamente, el Gringo Soria era un amigo para mí. (Aplausos.)"
""

我已使用以下循环尝试以某种方式解析文本,以便每一行代表一个说话者和相应的语音/讲话:

test <- readtext(text)
testtxt <- test$text

trans.prep <- function(testtxt) {

testtxt <- gsub("\\s{2,}", " ", testtxt, perl = T)
#gets rid of double spaces and replaces them with single spaces

testtxt <- subset(testtxt, nchar(testtxt) > 0)
#gets rid of lines that are empty (length of line is zero)

#collapse down to utterances

my.line <- 1

while (my.line <= length (testtxt)) {

  utterance <- length(grep(".-", testtxt[my.line], perl = T))
  if (utterance == 1) {my.line <- my.line + 1 }
  if (utterance == 0) {testtext[my.line-1] <-paste(testtext[(my.line-1):my.line], collapse = " ")
    testtext <- testtext[-my.line]} }
   testtxt <- subset(testtxt, nchar(testtxt) > 0)

  return(testtxt)}

循环应返回已解析的脚本,但是当我运行循环时,什么也没有发生,R也没有提供错误消息。

我是解析的新手,还是R的新手,因此可以肯定这是我的问题的一部分。任何建议将不胜感激。

2 个答案:

答案 0 :(得分:0)

问题似乎很简单。该函数使用一个名为testtxt的变量。但是,在函数主体中,您引用的是testtext(请注意额外的e)。您返回的变量testtxt在函数内部不会被修改。要在将来发现这种情况,请尝试从一个空的工作空间开始。

以下是对我有用的函数(您必须检查结果是否符合您的预期)。

> text <- c("sr. presidente domínguez.- ",
+           " Tiene la palabra el señor diputado por Buenos Aires.",
+           "",
+           "sr. ATANASOF, ALFREDO NESTOR.- ",
+           " Señor presidente: también quiero adherir en nombre del Frente Peronista a este homenaje al Gringo Soria. ",
+           "   Me tocó compartir con él  muchos años de trabajo en esta Cámara y luego funciones en el Poder Ejecutivo nacional. Realmente, durante esos años pude descubrir los valores del Gringo: un gran militante y peronista, quien siempre anteponía la resolución de los temas a las situaciones de conflicto.",
+           "   Hemos sentido mucho dolor cuando nos enteramos de esta desgraciada situación. Por ello, en nombre de nuestro bloque, quiero adherir al homenaje que hacemos a un amigo. Justamente, el Gringo Soria era un amigo para mí. (Aplausos.)",
+           "")
> 
> trans.prep <- function(testtxt) {
+   
+   testtxt <- gsub("\\s{2,}", " ", testtxt, perl = T)
+   #gets rid of double spaces and replaces them with single spaces
+   
+   testtxt <- subset(testtxt, nchar(testtxt) > 0)
+   #gets rid of lines that are empty (length of line is zero)
+   
+   #collapse down to utterances
+   
+   my.line <- 1
+   
+   while (my.line <= length (testtxt)) {
+     print(my.line)
+     
+     utterance <- length(grep(".-", testtxt[my.line], perl = T))
+     if (utterance == 1) {my.line <- my.line + 1 }
+     if (utterance == 0) {testtxt[my.line-1] <-paste(testtxt[(my.line-1):my.line], collapse = " ")
+     testtxt <- testtxt[-my.line]} }
+   testtxt <- subset(testtxt, nchar(testtxt) > 0)
+   
+   return(testtxt)}
> 
> k <- trans.prep(text)
[1] 1
[1] 2
[1] 2
[1] 3
[1] 3
[1] 3
> k
[1] "sr. presidente domínguez.-   Tiene la palabra el señor diputado por Buenos Aires."                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                        
[2] "sr. ATANASOF, ALFREDO NESTOR.-   Señor presidente: también quiero adherir en nombre del Frente Peronista a este homenaje al Gringo Soria.   Me tocó compartir con él muchos años de trabajo en esta Cámara y luego funciones en el Poder Ejecutivo nacional. Realmente, durante esos años pude descubrir los valores del Gringo: un gran militante y peronista, quien siempre anteponía la resolución de los temas a las situaciones de conflicto.  Hemos sentido mucho dolor cuando nos enteramos de esta desgraciada situación. Por ello, en nombre de nuestro bloque, quiero adherir al homenaje que hacemos a un amigo. Justamente, el Gringo Soria era un amigo para mí. (Aplausos.)"

答案 1 :(得分:0)

由于示例不能完全重现,因此很难确切知道您的输入格式是什么,但是让我们假设问题中打印的文本是来自单个文本文件的行。在这里,我将其(不带双引号)保存为文本文件example.txt

我们为此用例设计了corpus_segment()

library("quanteda")
## Package version: 1.3.14

example_corpus <- readtext::readtext("example.txt") %>%
  corpus()
summary(example_corpus)
## Corpus consisting of 1 document:
## 
##         Text Types Tokens Sentences
##  example.txt    93    141         8
## 
## Source: /private/var/folders/1v/ps2x_tvd0yg0lypdlshg_vwc0000gp/T/RtmpXk3YHc/reprex1325b73a1073d/* on x86_64 by kbenoit
## Created: Wed Jan  9 19:09:55 2019
## Notes:

example_corpus2 <-
  corpus_segment(example_corpus, pattern = "sr\\..*-", valuetype = "regex")
summary(example_corpus2)
## Corpus consisting of 2 documents:
## 
##           Text Types Tokens Sentences                        pattern
##  example.txt.1    10     10         1     sr. presidente domínguez.-
##  example.txt.2    80    117         7 sr. ATANASOF, ALFREDO NESTOR.-
## 
## Source: /private/var/folders/1v/ps2x_tvd0yg0lypdlshg_vwc0000gp/T/RtmpXk3YHc/reprex1325b73a1073d/* on x86_64 by kbenoit
## Created: Wed Jan  9 19:09:55 2019
## Notes: corpus_segment.corpus(example_corpus, pattern = "sr\\..*-", valuetype = "regex")

我们可以整理一下。

# clean up pattern by removing unneeded elements
docvars(example_corpus2, "pattern") <-
  stringi::stri_replace_all_fixed(docvars(example_corpus2, "pattern"),
    c("sr. ", ".-"), "",
    vectorize_all = FALSE
  )

names(docvars(example_corpus2))[1] <- "speaker"

summary(example_corpus2)
## Corpus consisting of 2 documents:
## 
##           Text Types Tokens Sentences                  speaker
##  example.txt.1    10     10         1     presidente domínguez
##  example.txt.2    80    117         7 ATANASOF, ALFREDO NESTOR
## 
## Source: /private/var/folders/1v/ps2x_tvd0yg0lypdlshg_vwc0000gp/T/RtmpXk3YHc/reprex1325b73a1073d/* on x86_64 by kbenoit
## Created: Wed Jan  9 19:09:55 2019
## Notes: corpus_segment.corpus(example_corpus, pattern = "sr\\..*-", valuetype = "regex")