否则如果循环在R中运行得非常慢

时间:2013-03-19 22:14:40

标签: r

我正在开展一项研究项目,探讨让人更有可能投票的因素,重点关注人们在投票站居住的距离。我是数百万人的完整选民登记和选民历史。有几种方式可以让某人投票(亲自,缺席,早期或临时)或不投票(未注册,注册但未投票或无资格投票)。我的数据附有一栏(29),表明某人如何在某次选举中投票。 NULL表示未注册,V表示亲自等,

对于回归分析,我想为每个选民类型创建一个不同的列(1表示是,0表示否,列号68-74)和另一个1/0列(数字75)表示是否有人投票所有。我在下面写的代码应该可以解决这个问题,但它在我的计算机上运行速度非常慢,甚至在一小时后也无法进入第1000行。除速度外,它完美无缺。我已被批准使用我大学的超级计算机*,但我想找出更快的算法。我的笔记本电脑和超级计算机上都有R和STATA *并且很乐意使用它们。

dcv.new <- read.csv("VoterHist.csv", header=TRUE)
# I previously set columns 68-75 to default to 0
for(i in 1:nrow(dcv.new))
{
  if(is.na(dcv.new[i,29]))
  {
    dcv.new[i,69] <- 1
  }
  else if(dcv.new[i,29]=="V")
  {
    dcv.new[i,68] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="A")
  {
    dcv.new[i,70] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="N")
  {
    dcv.new[i,71] <- 1
  }
  else if(dcv.new[i,29]=="E")
  {
    dcv.new[i,72] <- 1
  }
  else if(dcv.new[i,29]=="Y")
  {
    dcv.new[i,73] <- 1
  }
  else if(dcv.new[i,29]=="P")
  {
    dcv.new[i,74] <- 1
    dcv.new[i,75] <- 1
  }
  else if(dcv.new[i,29]=="X")
  {
    dcv.new[i,74] <- 1
    dcv.new[i,75] <- 1
  }
}

*技术上“高性能计算集群”,但说实话,超级计算机听起来更酷。

2 个答案:

答案 0 :(得分:16)

R是主要的矢量化,因此寻找矢量化操作来代替循环。在这种情况下,您可以对每个操作进行矢量化,使其适用于整个矩阵而不是单个行。

以下是您if else语句的前三个:

dcv.new[is.na(dcv.new[,29]), 69] <- 1
dcv.new[dcv.new[,29]=="V", c(68,75)] <- 1
dcv.new[dcv.new[,29]=="A", c(70,75)] <- 1
....

你应该明白这一点。

一些解释:

我们正在做的是从符合条件的dcv.new的某些列中选择行(例如== "V"),然后我们将值1分配给{的每个选定元素{1}}在一次操作中。 R回收我们分配的dcv.new,使其长度与填充所有选定元素所需的长度相同。

请注意我们如何一次选择多个列进行更新:1仅为行dcv.new[x , c(68,75)] 更新第68行和第75列,其中x为逻辑向量索引我们需要更新的行。逻辑向量由x之类的语句生成。如果dcv.new[,29]=="V"的元素等于TRUE,则返回dcv.new[,29],如果不是,则返回"V"

然而...!

在回归的情况下,我们可以让R为我们制作虚拟变量矩阵,我们不需要手工完成。假设列FALSE被命名为dcv.new[, 29]。如果我们强迫它成为一个因素

voterType

当我们使用公式表示法拟合模型时,我们可以这样做:

dcv.new <- transform(dcv.new, voterType = factor(voterType))

和R将创建适当的对比,使mod <- lm(response ~ voterType, data = dcv.new) 使用正确的自由度。默认情况下,R使用因子的第一级作为基准级,因此模型系数表示与该参考级的偏差。在将voterType转换为因子后,查看voterType的参考级别

with(dcv.new, levels(voterType)[1])

请注意,大多数采用公式的建模函数(如上所示)都按照我的描述工作,如下所示。您不仅限于lm()型号。

这是一个小例子

set.seed(42)
dcv.new <- data.frame(response = rnorm(20),
                      voterType = sample(c("V","A","N","E","Y","P","X",NA), 20, 
                                         replace = TRUE))
head(dcv.new)

> head(dcv.new)
    response voterType
1  1.3709584         E
2 -0.5646982         E
3  0.3631284         V
4  0.6328626      <NA>
5  0.4042683         E
6 -0.1061245      <NA>

然后可以将模型拟合为

mod <- lm(response ~ voterType, data = dcv.new)
summary(mod)

在这种情况下给予

> mod <- lm(response ~ voterType, data = dcv.new)
> summary(mod)

Call:
lm(formula = response ~ voterType, data = dcv.new)

Residuals:
    Min      1Q  Median      3Q     Max 
-2.8241 -0.4075  0.0000  0.5856  1.9030 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)  
(Intercept)   -2.656      1.425  -1.864   0.0952 .
voterTypeE     2.612      1.593   1.639   0.1356  
voterTypeN     3.040      1.646   1.847   0.0978 .
voterTypeP     2.742      1.646   1.666   0.1300  
voterTypeV     2.771      1.745   1.588   0.1468  
voterTypeX     2.378      2.015   1.180   0.2684  
voterTypeY     3.285      1.745   1.882   0.0925 .
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 1.425 on 9 degrees of freedom
  (4 observations deleted due to missingness)
Multiple R-squared: 0.3154, Adjusted R-squared: -0.1411 
F-statistic: 0.6909 on 6 and 9 DF,  p-value: 0.6635 

神奇的一切都发生在公式代码中,但基本上幕后发生的事情是,一旦R找到了公式中命名的所有变量,它实际上最终会调用像

这样的东西
model.matrix( ~ voterType, data = dcv.new)

生成基础矩阵代数和QR分解所需的协变量矩阵。上面的代码,对于小例子给出:

> model.matrix(~ voterType, data = dcv.new)
   (Intercept) voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX
1            1          1          0          0          0          0
2            1          1          0          0          0          0
3            1          0          0          0          1          0
5            1          1          0          0          0          0
8            1          0          0          1          0          0
10           1          0          0          0          0          0
11           1          0          1          0          0          0
12           1          0          1          0          0          0
13           1          1          0          0          0          0
14           1          0          0          0          0          1
15           1          0          0          0          1          0
16           1          0          0          1          0          0
17           1          0          0          1          0          0
18           1          0          0          0          0          0
19           1          0          1          0          0          0
20           1          0          0          0          0          0
   voterTypeY
1           0
2           0
3           0
5           0
8           0
10          1
11          0
12          0
13          0
14          0
15          0
16          0
17          0
18          0
19          0
20          1
attr(,"assign")
[1] 0 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"

您希望对代码执行哪些操作。因此,如果你确实需要它,你可以像我展示的那样使用model.matrix()来生成矩阵 - 剥离属性,因为你不需要它们。

在这种情况下,参考级别为"A"

> with(dcv.new, levels(voterType)[1])
[1] "A"

(Intercept)的输出中的model.matrix列表示。请注意,这些处理对比了与参考水平的偏差的代码。您可以通过添加-1(0r +0)来抑制公式中的截距来获取虚拟值:

> model.matrix(~ voterType - 1, data = dcv.new)
   voterTypeA voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX voterTypeY
1           0          1          0          0          0          0          0
2           0          1          0          0          0          0          0
3           0          0          0          0          1          0          0
5           0          1          0          0          0          0          0
8           0          0          0          1          0          0          0
10          0          0          0          0          0          0          1
11          0          0          1          0          0          0          0
12          0          0          1          0          0          0          0
13          0          1          0          0          0          0          0
14          0          0          0          0          0          1          0
15          0          0          0          0          1          0          0
16          0          0          0          1          0          0          0
17          0          0          0          1          0          0          0
18          1          0          0          0          0          0          0
19          0          0          1          0          0          0          0
20          0          0          0          0          0          0          1
attr(,"assign")
[1] 1 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"

答案 1 :(得分:6)

您应该对代码进行矢量化。忘了这么多if ifs

dcv.new[is.na(dcv.new[,29]),69] <- 1
dcv.new[dcv.new[,29] == "V", c(68, 75)] <- 1

... enter code here

根据需要继续