在R中应用v。for循环的意外行为

时间:2015-02-08 17:48:33

标签: r bigdata apply

我想使用apply而不是for循环来加速一个函数,该函数通过粘贴折叠数据框中的每一行来创建一个字符串向量,该数据框包含字符串和数字小数点。
加速是值得注意的,但是应用强制数字在左侧填充空格,以便所有值具有相同的字符数并将数字舍入为整数,而for循环则不会。 我能够解决这个问题as.character,但数据框内存使用量要大得多,我仍然不知道为什么apply这样做。有没有人有解释或更好的解决方案?

使用apply

df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
 + V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)

system.time(varapl <- apply(df, 1, function(x){
                paste(x[1:3], collapse="_")
                }))
varapl[c(1,10,100,1000)]

输出:

  user  system elapsed 
  0.01    0.00    0.02 

[1] "a_   1_a" "j_  10_j" "t_ 100_t" "t_1000_t"
# Spaces to the right and rounded!

使用for

varfor <- NULL
system.time(for(i in 1:1000){
  varfor <- c(varfor, paste(df[i,1:3], collapse="_"))
})
varfor[c(1,10,100,1000)]

输出:

   user  system elapsed 
   0.19    0.00    0.19 

[1] "a_1.00000001_a"    "j_10.00000001_j"   "t_100.00000001_t"  "t_1000.00000001_t"
# This is what I'm looking for!

解决方法是:

df2 <- data.frame(V1=rep(letters[1:20], 1000/20), 
+ V2=as.character((1:1000)+0.00000001),
+ V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)

varapl[c(1,10,100,1000)]

[1] "a_1.00000001_a"   "j_10.00000001_j"  "t_100.00000001_t"  "t_1000.00000001_t"

然而:

object.size(df)
26816 bytes
object.size(df2)
97208 bytes

我的原始数据框有数百万个条目,因此速度和内存限制都很重要。

提前感谢您的意见! KEO。

2 个答案:

答案 0 :(得分:3)

我不确定是什么导致了这种应用行为,但我提出了另一种选择,因为你对速度感兴趣。看看Hadleys包装tidyr和它的功能联合。

library(tidyr)

df <- data.frame(V1=rep(letters[1:20], 1000/20), V2=(1:1000)+0.00000001,
                 V3=rep(letters[1:20], 1000/20), stringsAsFactors=F)

unite(df, var, c(V1, V2, V3))

#              var
# 1 a_1.00000001_a
# 2 b_2.00000001_b
# 3 c_3.00000001_c
# 4 d_4.00000001_d
# 5 e_5.00000001_e
# 6 f_6.00000001_f

system.time(varapl <- unite(df, var, c(V1, V2, V3)))

# user  system elapsed 
#   0       0       0 

答案 1 :(得分:0)


@alexis_laz通过链接到this回答了问题(谢谢!)。我在这里发帖,因为它在评论部分提到过。