我的数据帧约为ca。行中有50,000个RNA转录本，列中有10,000个不同样品。数据帧的大小为4.9GB。
然后我必须转置数据以便以后正确地将其子集化
df <- data.frame(t(df))
转置后，对象大小膨胀到70GB。为什么会这样呢？转置数据是否真的会改变文件大小？
str()中的前20列：
str(df[1:20])
Classes 'tbl_df', 'tbl' and 'data.frame': 56202 obs. of 20 variables:
$ X1 : int 1 2 3 4 5 6 7 8 9 10 ...
$ Name : chr "ENSG00000223972.4" "ENSG00000227232.4" "ENSG00000243485.2" "ENSG00000237613.2" ...
$ Description : chr "DDX11L1" "WASH7P" "MIR1302-11" "FAM138A" ...
$ GTEX-1117F-0226-SM-5GZZ7: num 0.1082 21.4 0.1602 0.0505 0 ...
$ GTEX-111CU-1826-SM-5GZYN: num 0.1158 11.03 0.0643 0 0 ...
$ GTEX-111FC-0226-SM-5N9B8: num 0.021 16.75 0.0467 0.0295 0 ...
$ GTEX-111VG-2326-SM-5N9BK: num 0.0233 8.172 0 0.0326 0 ...
$ GTEX-111YS-2426-SM-5GZZQ: num 0 7.658 0.0586 0 0 ...
$ GTEX-1122O-2026-SM-5NQ91: num 0.0464 9.372 0 0 0 ...
$ GTEX-1128S-2126-SM-5H12U: num 0.0308 10.08 0.1367 0.0861 0.1108 ...
$ GTEX-113IC-0226-SM-5HL5C: num 0.0936 13.56 0.2079 0.131 0.0562 ...
$ GTEX-117YX-2226-SM-5EGJJ: num 0.121 9.889 0.0537 0.0677 0 ...
$ GTEX-11DXW-0326-SM-5H11W: num 0.0286 9.121 0.0635 0 0 ...
$ GTEX-11DXX-2326-SM-5Q5A2: num 0 6.698 0.0508 0.032 0 ...
$ GTEX-11DZ1-0226-SM-5A5KF: num 0.0237 9.835 0 0.0664 0 ...
$ GTEX-11EI6-0226-SM-5EQ64: num 0.0802 13.1 0 0 0 ...
$ GTEX-11EM3-2326-SM-5H12B: num 0.0223 8.904 0.0496 0.0625 0.0402 ...
$ GTEX-11EMC-2826-SM-5PNY6: num 0.0189 16.59 0 0.0265 0.034 ...
$ GTEX-11EQ8-0226-SM-5EQ5G: num 0.0931 15.1 0.0689 0.0869 0 ...
$ GTEX-11EQ9-2526-SM-5HL66: num 0.0777 9.838 0 0 0 ...
答案 0 :(得分：5)
首先，您要这样写：
然后我必须转置该数据集，以便稍后对其进行正确的子集化
说实话，我怀疑你必须这么做。因此，该可能是一个XY问题。话虽如此，我认为解剖这个问题可能具有普遍意义。
对象大小的增加很可能是由于转置前后对象的class发生了变化，以及不同类别的对象具有不同大小的事实。
我将尝试通过一些例子来说明这一点。我们从换班开始。
使用类似于您的结构，几个字符列和几个数字列创建玩具数据框：
# set number of rows and columns
nr <- 5
nc <- 5
set.seed(1)
d <- data.frame(x = sample(letters, nr, replace = TRUE),
y = sample(letters, nr, replace = TRUE),
matrix(runif(nr * nc), nrow = nr),
stringsAsFactors = FALSE)
转置它：
d_t <- t(d)
检查原始数据的str结构及其转置的同级结构：
str(d)
# 'data.frame': 5 obs. of 7 variables:
# $ x : chr "g" "j" "o" "x" ...
# $ y : chr "x" "y" "r" "q" ...
# $ X1: num 0.206 0.177 0.687 0.384 0.77
# $ X2: num 0.498 0.718 0.992 0.38 0.777
# $ X3: num 0.935 0.212 0.652 0.126 0.267
# $ X4: num 0.3861 0.0134 0.3824 0.8697 0.3403
# $ X5: num 0.482 0.6 0.494 0.186 0.827
str(d_t)
# chr [1:7, 1:5] "g" "x" "0.2059746" "0.4976992" ...
# - attr(*, "dimnames")=List of 2
# ..$ : chr [1:7] "x" "y" "X1" "X2" ...
# ..$ : NULL
数据框已成为字符矩阵。这怎么发生的？好吧，检查数据框的转置方法的帮助文本：?t.data.frame：
首先将数据帧强制转换为矩阵：请参见
as.matrix。
好的，请参见?as.matrix：
如果只有原子列而任何非（数字/逻辑/复杂）列[...]
，则用于数据帧的方法将返回字符矩阵
数据框是一个列表，其中每个列可以是不同类，而矩阵只是一个具有维的向量，只能容纳一个类。因此，因为您至少有一个字符列，即非（数字/逻辑/复杂）列，所以由于t的浪费，您的数据帧被强制为字符矩阵。然后，您将矩阵强制转换为数据帧，其中所有列都是字符（或factor，具体取决于您的stringsAsFactors设置）-选中str(data.frame(d_t))。
第二步，比较不同对象的大小。从上面创建的数据框及其转置开始：
# original data frame
object.size(d)
# 2360 bytes
# transposed df - a character matrix
object.size(d_t)
# 3280 bytes
转置的对象显然更大。如果我们增加行数和数字列数以更好地模拟您的数据，则相对差异会更大：
nr <- 56202
nc <- 20
object.size(d)
# 9897712 bytes
object.size(d_t)
# 78299656 bytes
由于原始数据和转置数据中的元素数相同，因此每个元素的（内存）大小必须不同。让我们检查相同长度的integer，numeric和character向量的大小。首先是具有一位数值的向量和一个字符元素的对应向量：
onedigit_int <- sample(1:9, 1e4, replace = TRUE)
onedigit_num <- as.numeric(onedigit_int)
onedigit_char <- as.character(onedigit_int)
object.size(onedigit_int)
# 40048 bytes
object.size(onedigit_num)
# 80048 bytes
object.size(onedigit_char)
# 80552 bytes
对于一位数字/字符，integer向量每个元素占用4个字节，numeric和character向量每个元素占用8个字节。单字符向量不是比数字向量需要更多的内存。这是否意味着我们可以拒绝这样的想法，即通过将大量数字变量强制转换为字符来解释总大小的增加？好吧，我们需要检查多位数向量（您似乎拥有）及其对应的多字符字符串向量会发生什么情况：
multidigit_int <- sample(1:1e6, 1e4, replace = TRUE)
multidigit_num <- as.numeric(multidigit_int)
multidigit_char <- as.character(multidigit_int)
object.size(multidigit_int)
# 40048 bytes
object.size(multidigit_num)
# 80048 bytes
object.size(multidigit_char)
# 637360 bytes
整数向量每个元素仍然占据4个字节，数字向量每个元素仍然占据8个字节。但是，对于较大的字符串，字符向量中每个元素的大小为更大。
因此，转置将您的数据帧强制为一个字符矩阵，并且每个字符元素的大小都大于其相应的数字元素。
将数据帧与 different 类的列进行转换非常不明智。并且如果 all 列属于 same 类，那么我们从一开始就可以使用矩阵。
进一步了解如何在Advanced R by Hadley Wickham中使用多少内存来存储不同的对象