如何用前n个级别(按出现次数)替换因子级别

时间:2015-10-28 10:15:25

标签: r

此问题与How can I replace a factor levels with the top n levels (by some metric), plus [other]?有关。作为度量,我想使用因子的出现次数。我知道我可以通过列出事件列表来做到这一点,但我想知道是否有更漂亮的方式。

示例:

library(data.table);
library(plyr);
fac <- data.table(score = as.factor(c(3,4,5,3,3,3,5)));
ocCnt <- data.table(lapply(fac,count)$score);
fac$occurrence <- 0;
for(i in 1:length(fac$score)){fac$occurrence[i]<-ocCnt[x==fac$score[i]]$freq};

然后我可以使用引用的问题/答案中描述的功能:

hotfactor= function(fac,by,n=10,o="other") {
   levels(fac)[rank(-xtabs(by~fac))[levels(fac)]>n] <- o
   fac
}

继续这个例子,如果我们只想看到我们最常用的因素:

hotfactor(fac$score,fac$occurrence,1);

得到答案:

  

[1] 3其他3 3 3其他

     

级别:其他3个

所以我的问题是,我是否可以在不添加计算事件的列表的情况下执行此操作?

请注意,我想针对n个最受欢迎的因素(不仅仅是最受欢迎的因素)执行此操作。

2 个答案:

答案 0 :(得分:1)

使用tablewhich.max

score <- factor(c(3,4,5,3,3,3,5))
levels(score)[- which.max(table(score))] <- "other"
#[1] 3     other other 3     3     3     other
#Levels: 3 other

显然,这会通过取第一个最大值来打破关系。

如果你想保持前两个级别:

score <- factor(c(3, 4,5,3,3,3,5), levels =c(4,3,5))

levels(score)[!levels(score) %in% names(sort(table(score), decreasing = TRUE)[1:2])] <- "other"
#[1] 3     other 5     3     3     3     5    
#Levels: other 3 5

答案 1 :(得分:0)

如果您不知道需要分组多少级别,90%的数据并且愿意使用dplyr,您可以按照以下方式执行操作:

library(dplyr)

df <- data.frame(
        f = factor(mapply(rep, letters[1:5], 2^(1:5)) %>% unlist(use.names = F))
)

df %>% 
    count(f, sort = T) %>% 
    mutate(p = cumsum(n) / nrow(df))

#      A tibble: 5 x 3
#        f     n         p
#   <fctr> <int>     <dbl>
# 1      e    32 0.5161290
# 2      d    16 0.7741935
# 3      c     8 0.9032258
# 4      b     4 0.9677419
# 5      a     2 1.0000000

(top <- df %>% 
    count(f, sort = T) %>% 
    mutate(p = cumsum(n) / nrow(df)) %>%
    filter(cumall(p < .91)) %>% 
    select(f) %>% 
    unlist(use.names = F))

# [1] e d c
# Levels: a b c d e

levels(df$f) <- factor(c(levels(df$f), 'z'))
df$f[!df$f %in% top] <- 'z'

df %>% 
    count(f, sort = T) %>% 
    mutate(p = cumsum(n) / nrow(df))

#  A tibble: 4 x 3
#        f     n         p
#   <fctr> <int>     <dbl>
# 1      e    32 0.5161290
# 2      d    16 0.7741935
# 3      c     8 0.9032258
# 4      z     6 1.0000000