从大型数据集的数据框有效创建矩阵

时间:2018-10-11 16:35:03

标签: r dataframe bigdata reshape2 melt

我正在尝试从大型数据框创建矩阵。这是一个示例数据框

df <- data.frame(index=c("x","y","j","ww","rr","ff"),
             a=c(1,3,3,5,1,6), 
             b=c(2,3,5,3,2,3),
             c=c(3,2,4,5,6,10),
             d =c("ha1","ha2","ha3","ha4","ha5","ha"))

> df
  index a b  c   d
1     x 1 2  3 ha1
2     y 3 3  2 ha2
3     j 3 5  4 ha3
4    ww 5 3  5 ha4
5    rr 1 2  6 ha5
6    ff 6 3 10  ha

矩阵必须看起来像这样。

> matrix
   a b  c
ff 6 3 10
j  3 5  4
rr 1 2  6
ww 5 3  5
x  1 2  3
y  3 3  2

所以,我使用的方法是先使用melt将数据框结构更改为类似的内容

df1 <- reshape2::melt(data = df, id.vars = c("index","d"), variable.name = "colname", value.name = "value")

> df1
   index   d colname value
1      x ha1       a     1
2      y ha2       a     3
3      j ha3       a     3
4     ww ha4       a     5
5     rr ha5       a     1
6     ff  ha       a     6
7      x ha1       b     2
8      y ha2       b     3
9      j ha3       b     5
10    ww ha4       b     3
11    rr ha5       b     2
12    ff  ha       b     3
13     x ha1       c     3
14     y ha2       c     2
15     j ha3       c     4
16    ww ha4       c     5
17    rr ha5       c     6
18    ff  ha       c    10

然后放弃

matrix <- acast(df1, index~colname, value.var="value")

以上方法行得通,但是现在我正在处理大型数据集,当使用melt(df1)转换数据时,它变得很大并崩溃了。

因此,有什么方法可以有效地从数据帧df创建矩阵,而无需执行中间步骤。

1 个答案:

答案 0 :(得分:-1)

基于输出,我们可以删除第一列,即character列,将其余数据集转换为matrix并为第一列分配行名

m1 <- `row.names<-`(as.matrix(df[-1]), df[,1])
str(m1)
# num [1:2, 1:3] 1 3 2 3 3 2
# - attr(*, "dimnames")=List of 2
#  ..$ : chr [1:2] "x" "y"
#  ..$ : chr [1:3] "a" "b" "c"
m1
#  a b c
#x 1 2 3
#y 3 3 2

如果我们使用tidyverse,那么column_to_rownames是有用的

library(tidyverse)
column_to_rownames(df, "x") %>%
      as.matrix

更新

基于更新的数据集,我们可以在对数字列进行子集设置后应用相同的逻辑

`row.names<-`(as.matrix(df[2:4]), df[,1])

如果有很多numeric列并且很难获取索引,请遍历这些列以获取数字列的索引并将其用于子集

m2 <- `row.names<-`(df[sapply(df, is.numeric)], df[,1])[order(df[,1]),]
m2
#   a b  c
#ff 6 3 10
#j  3 5  4
#rr 1 2  6
#ww 5 3  5
#x  1 2  3
#y  3 3  2