R:如何在数据框中输出唯一的字符串(文本)?

时间:2016-03-10 12:35:31

标签: r text machine-learning

请帮忙。

我的数据框有近40k个数据点(行),其中一列包含文本。例如,

ID  Text
 1  I love my mum I love my dad
 2  I live in AB I used to live in CD
 .  .
 .  .

我希望它输出如下:

ID  Text
 1  I love my mum dad
 2  I live in AB used to CD
 .  .
 .  .

我尝试了unique()make.unique(),但他们没有工作。

1 个答案:

答案 0 :(得分:1)

我想你想从每个句子中删除任何重复的单词。如果是这种情况,您可以尝试:

txt<-c("I love my mum I love my dad","I live in AB I used to live in CD")
vapply(strsplit(txt,"\\s+"),function(x) paste(unique(x),collapse=" "),"")
#[1] "I love my mum dad"       "I live in AB used to CD"