Question

我有一个dataframe，其中所有行都有一个对应于用户ID的值uid，并且多行可以具有相同的uid。我想创建一个新的数据框，其中只包含每个uid的x行的随机样本。

我写了这个函数：

trim <- function(df, max){
    data.by.user <- split(df, df$uid) #split the dataframe by user
    output <- NULL
    lapply(data.by.user, function(x){

        #length(x$tid) = number of rows for that user

        if(is.null(output){
            if(length(x$tid) <= max){
                output <<- x
            }
            }else{
                output <<- x[sample(nrow(x), size = max),]
            }
        }else if (length(x$tid) <= max){
            output <<- rbind(output, x)
        }else{
            output <<- rbind(output, x[sample(nrow(x), size=max),]) #sample 'max' rows from x
        }
    })
    return(output)
}

但是当我在我的数据帧（有几百万行）上尝试它时，

d <- trim(old_df, 200)

内存不足并出现此错误以及有关已达到内存总分配的警告：

Error: cannot allocate vector of size 442 Kb

是否有更多内存效率的方法来实现这一目标？

Answer 1

我尽量避免使用（子集）数据帧。你正在拆分df，你真的只需要使用行索引。此外，您正在创建一个列表并反复增长它，这会占用内存。

这是一个精简版。我不知道您的数据集的详细信息，但在100万行x 2列的数据框架上测试它需要几秒钟。

samp <- function(df, size=100, replace=FALSE)
{
    grp <- split(seq_len(nrow(df)), df$id)
    l <- lapply(grp, function(g) {
        if(length(g) < size && !replace)
            g
        else sample(g, size=size, replace=replace)
    })
    df[unlist(l), ]
}

df <- data.frame(x=seq(1e6), id=sample(1000, 1e6, replace=TRUE))
df2 <- samp(df)
dim(df2)
[1] 100000      2

Answer 2

如果你想改变不同层次的样本大小（在你的例子中是“uid”列，在我的例子中是“cyl”），如果你有一个像这样大小的数据帧：

sizes <- data.frame(cyl=c(4,6,8), size=c(2,333,4))

> sizes
  cyl size
1   4    2
2   6  333
3   8    4

然后您可以使用此调用来执行样本，忽略大于每个层的行数的样本大小：

Reduce(rbind, by(mtcars, mtcars$cyl, function(d)
       d[sample(nrow(d), min(with(sizes, size[cyl==unique(d$cyl)]), nrow(d))),]))

结果：

                     mpg cyl  disp  hp drat    wt  qsec vs am gear carb
Volvo 142E          21.4   4 121.0 109 4.11 2.780 18.60  1  1    4    2
Porsche 914-2       26.0   4 120.3  91 4.43 2.140 16.70  0  1    5    2
Hornet 4 Drive      21.4   6 258.0 110 3.08 3.215 19.44  1  0    3    1
Mazda RX4           21.0   6 160.0 110 3.90 2.620 16.46  0  1    4    4
Ferrari Dino        19.7   6 145.0 175 3.62 2.770 15.50  0  1    5    6
Valiant             18.1   6 225.0 105 2.76 3.460 20.22  1  0    3    1
Mazda RX4 Wag       21.0   6 160.0 110 3.90 2.875 17.02  0  1    4    4
Merc 280C           17.8   6 167.6 123 3.92 3.440 18.90  1  0    4    4
Merc 280            19.2   6 167.6 123 3.92 3.440 18.30  1  0    4    4
Duster 360          14.3   8 360.0 245 3.21 3.570 15.84  0  0    3    4
Chrysler Imperial   14.7   8 440.0 230 3.23 5.345 17.42  0  0    3    4
Merc 450SL          17.3   8 275.8 180 3.07 3.730 17.60  0  0    3    3
Lincoln Continental 10.4   8 460.0 215 3.00 5.424 17.82  0  0    3    4

通过对列中的每个值进行采样来获取数据帧的子集

2 个答案: