Question

由于本帖子中未包含的各种原因，我想在data.table框架中工作。 data.table是否有指标矩阵的稀疏表示，Matrix包？

library(Matrix)
library(data.table)

set.seed(123409L)

ints <- sample.int(2L, 1e6, replace=T, prob= c(0.9, 0.1)) - 1

m <- Matrix(ints, ncol= 1000)
dt <- data.table(matrix(ints, ncol= 1000))

pryr::object_size(m) # 1.22 MB
pryr::object_size(dt) # 8.1 MB

假设在实际用例中我更接近6e8元素，其中增长是假设无限的。

如果这个问题已经得到解答，请提前道歉。我很高兴它被标记为重复;但我没有找到重复的搜索。

Answer 1

正如@Frank在他的评论中所建议的那样，你可以在data.table中有效地表示一个稀疏矩阵，将非零元素及其索引存储为单独的观察结果，即三元组形式：

m2 <- as(m, "dgTMatrix")
dt2 <- data.table(i=m2@i+1, j=m2@j+1, value=m2@x)

pryr::object_size(dt2) # 1.62 MB

此data.table也可以从dt：

构建

dt2 <- melt(copy(dt)[,i:=.I], id.vars="i"
    )[value>0][,j:=as.integer(variable)][,variable:=NULL]

是否存在稀疏矩阵/对象的`data.table`表示？

1 个答案: