我正在开展一项研究项目,探讨让人更有可能投票的因素,重点关注人们在投票站居住的距离。我是数百万人的完整选民登记和选民历史。有几种方式可以让某人投票(亲自,缺席,早期或临时)或不投票(未注册,注册但未投票或无资格投票)。我的数据附有一栏(29),表明某人如何在某次选举中投票。 NULL表示未注册,V表示亲自等,
对于回归分析,我想为每个选民类型创建一个不同的列(1表示是,0表示否,列号68-74)和另一个1/0列(数字75)表示是否有人投票所有。我在下面写的代码应该可以解决这个问题,但它在我的计算机上运行速度非常慢,甚至在一小时后也无法进入第1000行。除速度外,它完美无缺。我已被批准使用我大学的超级计算机*,但我想找出更快的算法。我的笔记本电脑和超级计算机上都有R和STATA *并且很乐意使用它们。
dcv.new <- read.csv("VoterHist.csv", header=TRUE)
# I previously set columns 68-75 to default to 0
for(i in 1:nrow(dcv.new))
{
if(is.na(dcv.new[i,29]))
{
dcv.new[i,69] <- 1
}
else if(dcv.new[i,29]=="V")
{
dcv.new[i,68] <- 1
dcv.new[i,75] <- 1
}
else if(dcv.new[i,29]=="A")
{
dcv.new[i,70] <- 1
dcv.new[i,75] <- 1
}
else if(dcv.new[i,29]=="N")
{
dcv.new[i,71] <- 1
}
else if(dcv.new[i,29]=="E")
{
dcv.new[i,72] <- 1
}
else if(dcv.new[i,29]=="Y")
{
dcv.new[i,73] <- 1
}
else if(dcv.new[i,29]=="P")
{
dcv.new[i,74] <- 1
dcv.new[i,75] <- 1
}
else if(dcv.new[i,29]=="X")
{
dcv.new[i,74] <- 1
dcv.new[i,75] <- 1
}
}
*技术上“高性能计算集群”,但说实话,超级计算机听起来更酷。
答案 0 :(得分:16)
R是主要的矢量化,因此寻找矢量化操作来代替循环。在这种情况下,您可以对每个操作进行矢量化,使其适用于整个矩阵而不是单个行。
以下是您if
else
语句的前三个:
dcv.new[is.na(dcv.new[,29]), 69] <- 1
dcv.new[dcv.new[,29]=="V", c(68,75)] <- 1
dcv.new[dcv.new[,29]=="A", c(70,75)] <- 1
....
你应该明白这一点。
我们正在做的是从符合条件的dcv.new
的某些列中选择行(例如== "V"
),然后我们将值1
分配给{的每个选定元素{1}}在一次操作中。 R回收我们分配的dcv.new
,使其长度与填充所有选定元素所需的长度相同。
请注意我们如何一次选择多个列进行更新:1
仅为行dcv.new[x , c(68,75)]
更新第68行和第75列,其中x
为逻辑向量索引我们需要更新的行。逻辑向量由x
之类的语句生成。如果dcv.new[,29]=="V"
的元素等于TRUE
,则返回dcv.new[,29]
,如果不是,则返回"V"
。
在回归的情况下,我们可以让R为我们制作虚拟变量矩阵,我们不需要手工完成。假设列FALSE
被命名为dcv.new[, 29]
。如果我们强迫它成为一个因素
voterType
当我们使用公式表示法拟合模型时,我们可以这样做:
dcv.new <- transform(dcv.new, voterType = factor(voterType))
和R将创建适当的对比,使mod <- lm(response ~ voterType, data = dcv.new)
使用正确的自由度。默认情况下,R使用因子的第一级作为基准级,因此模型系数表示与该参考级的偏差。在将voterType
转换为因子后,查看voterType
的参考级别
with(dcv.new, levels(voterType)[1])
请注意,大多数采用公式的建模函数(如上所示)都按照我的描述工作,如下所示。您不仅限于lm()
型号。
这是一个小例子
set.seed(42)
dcv.new <- data.frame(response = rnorm(20),
voterType = sample(c("V","A","N","E","Y","P","X",NA), 20,
replace = TRUE))
head(dcv.new)
> head(dcv.new)
response voterType
1 1.3709584 E
2 -0.5646982 E
3 0.3631284 V
4 0.6328626 <NA>
5 0.4042683 E
6 -0.1061245 <NA>
然后可以将模型拟合为
mod <- lm(response ~ voterType, data = dcv.new)
summary(mod)
在这种情况下给予
> mod <- lm(response ~ voterType, data = dcv.new)
> summary(mod)
Call:
lm(formula = response ~ voterType, data = dcv.new)
Residuals:
Min 1Q Median 3Q Max
-2.8241 -0.4075 0.0000 0.5856 1.9030
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -2.656 1.425 -1.864 0.0952 .
voterTypeE 2.612 1.593 1.639 0.1356
voterTypeN 3.040 1.646 1.847 0.0978 .
voterTypeP 2.742 1.646 1.666 0.1300
voterTypeV 2.771 1.745 1.588 0.1468
voterTypeX 2.378 2.015 1.180 0.2684
voterTypeY 3.285 1.745 1.882 0.0925 .
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 1.425 on 9 degrees of freedom
(4 observations deleted due to missingness)
Multiple R-squared: 0.3154, Adjusted R-squared: -0.1411
F-statistic: 0.6909 on 6 and 9 DF, p-value: 0.6635
神奇的一切都发生在公式代码中,但基本上幕后发生的事情是,一旦R找到了公式中命名的所有变量,它实际上最终会调用像
这样的东西model.matrix( ~ voterType, data = dcv.new)
生成基础矩阵代数和QR分解所需的协变量矩阵。上面的代码,对于小例子给出:
> model.matrix(~ voterType, data = dcv.new)
(Intercept) voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX
1 1 1 0 0 0 0
2 1 1 0 0 0 0
3 1 0 0 0 1 0
5 1 1 0 0 0 0
8 1 0 0 1 0 0
10 1 0 0 0 0 0
11 1 0 1 0 0 0
12 1 0 1 0 0 0
13 1 1 0 0 0 0
14 1 0 0 0 0 1
15 1 0 0 0 1 0
16 1 0 0 1 0 0
17 1 0 0 1 0 0
18 1 0 0 0 0 0
19 1 0 1 0 0 0
20 1 0 0 0 0 0
voterTypeY
1 0
2 0
3 0
5 0
8 0
10 1
11 0
12 0
13 0
14 0
15 0
16 0
17 0
18 0
19 0
20 1
attr(,"assign")
[1] 0 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"
您希望对代码执行哪些操作。因此,如果你确实需要它,你可以像我展示的那样使用model.matrix()
来生成矩阵 - 剥离属性,因为你不需要它们。
在这种情况下,参考级别为"A"
:
> with(dcv.new, levels(voterType)[1])
[1] "A"
由(Intercept)
的输出中的model.matrix
列表示。请注意,这些处理对比了与参考水平的偏差的代码。您可以通过添加-1
(0r +0
)来抑制公式中的截距来获取虚拟值:
> model.matrix(~ voterType - 1, data = dcv.new)
voterTypeA voterTypeE voterTypeN voterTypeP voterTypeV voterTypeX voterTypeY
1 0 1 0 0 0 0 0
2 0 1 0 0 0 0 0
3 0 0 0 0 1 0 0
5 0 1 0 0 0 0 0
8 0 0 0 1 0 0 0
10 0 0 0 0 0 0 1
11 0 0 1 0 0 0 0
12 0 0 1 0 0 0 0
13 0 1 0 0 0 0 0
14 0 0 0 0 0 1 0
15 0 0 0 0 1 0 0
16 0 0 0 1 0 0 0
17 0 0 0 1 0 0 0
18 1 0 0 0 0 0 0
19 0 0 1 0 0 0 0
20 0 0 0 0 0 0 1
attr(,"assign")
[1] 1 1 1 1 1 1 1
attr(,"contrasts")
attr(,"contrasts")$voterType
[1] "contr.treatment"
答案 1 :(得分:6)
您应该对代码进行矢量化。忘了这么多if ifs
dcv.new[is.na(dcv.new[,29]),69] <- 1
dcv.new[dcv.new[,29] == "V", c(68, 75)] <- 1
... enter code here
根据需要继续