Question

我不太熟练R data.table，为解决以下问题，我们将不胜感激！我有一个带有数值列的大data.table（〜1000000行），我想输出一个相同维度的data.table，其中每个行值的索引位置都已排序。

一个简短的例子：

-输入：

dt = data.frame(ack = 1:7)

dt$A1 = c( 1,    6,  9,  10,  3,   5, NA)
dt$A2 = c( 25,  12, 30,  10, 50,   1, 30)
dt$A3 = c( 100, 63, 91, 110,  1,   4, 10)
dt$A4 = c( 51,  65,  2,   1,  0, 200,  1)

第一行：1（ 1 ）<= 25（ 2 ）<= 51（ 3 ）<= 100（ 4 ），（1、25、100、51）的行排序索引位置为（1、2、4、3），输出应为：

dt$PosA1 = c(1, ...
dt$PosA2 = c(2, ...
dt$PosA3 = c(4, ...
dt$PosA4 = c(3, ...

第三行：2（ 1 ）<= 9（ 2 ）<= 30（ 3 ）<= 91（ 4 ），必须输出：

dt$PosA1 = c( 1,1,2,...)
dt$PosA2 = c( 2,2,3,...)
dt$PosA3 = c( 4,3,4,...)
dt$PosA4 = c( 3,4,1,...)

输出与输入data.table的维度相同，表中填充了按行排序的索引值。

dt$PosA1 = c( 1, 1, 2, 2, 3, 1, NA)
dt$PosA2 = c( 2, 2, 3, 3, 4, 2, 3)
dt$PosA3 = c( 4, 3, 4, 4, 2, 2, 2)
dt$PosA4 = c( 3, 4, 1, 1, 1, 4, 1)

我在想类似的东西吗？

library(data.table)
setDT(dt)

# pseudocode
dt[, PosA1 := rowPosition(.SD, 1, na.rm=T),
     PosA2 := rowPosition(.SD, 2, na.rm=T),
     PosA3 := rowPosition(.SD, 3, na.rm=T),
     PosA4 := rowPosition(.SD, 4, na.rm=T),
     .SDcols=c(A1, A2, A3, A4)]

我不确定语法，我想念rowPosition函数。是否有任何功能可以做到这一点？（我在这里将其命名为rowPosition）

编写一些有效的方法或解决问题的另一种方法将非常有帮助！

致谢。

Answer 1

您可以转换为长格式并使用rank。或者，由于您使用的是data.table，因此frank：

library(data.table)
setDT(dt)
melt(dt, id="ack")[, f := frank(value, na.last="keep", ties.method="dense"), by=ack][, 
  dcast(.SD, ack ~ variable, value.var="f")]

   ack A1 A2 A3 A4
1:   1  1  2  4  3
2:   2  1  2  3  4
3:   3  2  3  4  1
4:   4  2  2  3  1
5:   5  3  4  2  1
6:   6  3  1  2  4
7:   7 NA  3  2  1

melt切换为长格式；而dcast会转换回宽格式。

Answer 2

由于您正在寻找速度，因此您可能要考虑使用Rcpp。可以在nrussell's adapted version of René Richter's code中找到负责NA和联系的Rcpp rank。

nr <- 811e3
nc <- 16
DT <- as.data.table(matrix(sample(c(1:200, NA), nr*nc, replace=TRUE), nrow=nr))[, 
    ack := .I]

#assuming that you have saved nrussell code in avg_rank.cpp
library(Rcpp)
system.time(sourceCpp("rcpp/avg_rank.cpp"))
#   user  system elapsed 
#   0.00    0.13    6.21 

nruss_rcpp <- function() {
    DT[, as.list(avg_rank(unlist(.SD))), by=ack]
}

data.table.frank <- function() {
    melt(DT, id="ack")[, f := frank(value, na.last="keep", ties.method="dense"), by=ack][, 
        dcast(.SD, ack ~ variable, value.var="f")]
}


library(microbenchmark)
microbenchmark(nruss_rcpp(), data.table.frank(), times=3L)

时间：

Unit: seconds
               expr       min        lq     mean   median        uq       max neval cld
       nruss_rcpp()  10.33032  10.33251  10.3697  10.3347  10.38939  10.44408     3  a 
 data.table.frank() 610.44869 612.82685 613.9362 615.2050 615.68001 616.15501     3   b

编辑：处理评论

1）使用按引用更新为排名列设置列名

DT[, (paste0("Rank", 1L:nc)) := as.list(avg_rank(unlist(.SD))), by=ack]

2）保持NA不变

选项A）从avg_rank获取输出后，在R中更改为NA：

for (j in 1:nc) {
    DT[is.na(get(paste0("V", j))), (paste0("Rank", j)) := NA_real_]
}

选项B）如下修改Rcpp中的avg_rank代码：

Rcpp::NumericVector avg_rank(Rcpp::NumericVector x)
{
    R_xlen_t sz = x.size();
    Rcpp::IntegerVector w = Rcpp::seq(0, sz - 1);
    std::sort(w.begin(), w.end(), Comparator(x));

    Rcpp::NumericVector r = Rcpp::no_init_vector(sz);
    for (R_xlen_t n, i = 0; i < sz; i += n) {
        n = 1;
        while (i + n < sz && x[w[i]] == x[w[i + n]]) ++n;
        for (R_xlen_t k = 0; k < n; k++) {
            if (Rcpp::traits::is_na<REALSXP>(x[w[i + k]])) {  #additional code
                r[w[i + k]] = NA_REAL;                        #additional code
            } else {
                r[w[i + k]] = i + (n + 1) / 2.;
            }
        }
    }

    return r;
}

是否有R函数可以返回向量的任何值的排序索引？

2 个答案: