我有data.frame
由数字和因子变量组成,如下所示。
testFrame <- data.frame(First=sample(1:10, 20, replace=T),
Second=sample(1:20, 20, replace=T), Third=sample(1:10, 20, replace=T),
Fourth=rep(c("Alice","Bob","Charlie","David"), 5),
Fifth=rep(c("Edward","Frank","Georgia","Hank","Isaac"),4))
我想构建一个matrix
,为该因子分配虚拟变量并单独保留数值变量。
model.matrix(~ First + Second + Third + Fourth + Fifth, data=testFrame)
正如预期的那样,当lm
运行时,这会将每个因子的一个级别作为参考级别。但是,我想为所有因素的每个级别构建一个带有虚拟/指示变量的matrix
。我正在为glmnet
建立这个矩阵,所以我并不担心多重共线性。
有没有办法让model.matrix
为因子的每个级别创建假人?
答案 0 :(得分:59)
(试图赎回自己...)为了回应Jared对@Fabians关于自动化的回答,请注意您需要提供的所有内容都是对比矩阵的命名列表。 contrasts()
采用向量/因子并从中生成对比矩阵。为此,我们可以使用lapply()
对数据集中的每个因素运行contrasts()
,例如对于提供的testFrame
示例:
> lapply(testFrame[,4:5], contrasts, contrasts = FALSE)
$Fourth
Alice Bob Charlie David
Alice 1 0 0 0
Bob 0 1 0 0
Charlie 0 0 1 0
David 0 0 0 1
$Fifth
Edward Frank Georgia Hank Isaac
Edward 1 0 0 0 0
Frank 0 1 0 0 0
Georgia 0 0 1 0 0
Hank 0 0 0 1 0
Isaac 0 0 0 0 1
很快进入@fabians的答案:
model.matrix(~ ., data=testFrame,
contrasts.arg = lapply(testFrame[,4:5], contrasts, contrasts=FALSE))
答案 1 :(得分:46)
您需要为因子变量重置contrasts
:
model.matrix(~ Fourth + Fifth, data=testFrame,
contrasts.arg=list(Fourth=contrasts(testFrame$Fourth, contrasts=F),
Fifth=contrasts(testFrame$Fifth, contrasts=F)))
或者,打字少一点,没有正确的名字:
model.matrix(~ Fourth + Fifth, data=testFrame,
contrasts.arg=list(Fourth=diag(nlevels(testFrame$Fourth)),
Fifth=diag(nlevels(testFrame$Fifth))))
答案 2 :(得分:13)
caret
使用2行实现了一个很好的函数dummyVars
:
library(caret)
dmy <- dummyVars(" ~ .", data = testFrame)
testFrame2 <- data.frame(predict(dmy, newdata = testFrame))
检查最终列:
colnames(testFrame2)
"First" "Second" "Third" "Fourth.Alice" "Fourth.Bob" "Fourth.Charlie" "Fourth.David" "Fifth.Edward" "Fifth.Frank" "Fifth.Georgia" "Fifth.Hank" "Fifth.Isaac"
这里最好的一点是你得到原始数据框,加上虚拟变量排除了用于转换的原始数据。
答案 3 :(得分:10)
dummyVars
的 caret
也可以使用。 http://caret.r-forge.r-project.org/preprocess.html
答案 4 :(得分:2)
确定。只需阅读上述内容并将其全部放在一起。假设您想要矩阵,例如&#39; X.factors&#39;乘以系数向量得到线性预测值。还有一些额外的步骤:
X.factors =
model.matrix( ~ ., data=X, contrasts.arg =
lapply(data.frame(X[,sapply(data.frame(X), is.factor)]),
contrasts, contrasts = FALSE))
(请注意,如果只有一个因子列,则需要将X [*]转回数据框。)
然后说你得到这样的东西:
attr(X.factors,"assign")
[1] 0 1 **2** 2 **3** 3 3 **4** 4 4 5 6 7 8 9 10 #emphasis added
我们希望摆脱每个因素的**参考水平
att = attr(X.factors,"assign")
factor.columns = unique(att[duplicated(att)])
unwanted.columns = match(factor.columns,att)
X.factors = X.factors[,-unwanted.columns]
X.factors = (data.matrix(X.factors))
答案 5 :(得分:2)
使用R包&#39; CatEncoders&#39;
library(CatEncoders)
testFrame <- data.frame(First=sample(1:10, 20, replace=T),
Second=sample(1:20, 20, replace=T), Third=sample(1:10, 20, replace=T),
Fourth=rep(c("Alice","Bob","Charlie","David"), 5),
Fifth=rep(c("Edward","Frank","Georgia","Hank","Isaac"),4))
fit <- OneHotEncoder.fit(testFrame)
z <- transform(fit,testFrame,sparse=TRUE) # give the sparse output
z <- transform(fit,testFrame,sparse=FALSE) # give the dense output
答案 6 :(得分:2)
我目前正在学习套索模型和glmnet::cv.glmnet()
,model.matrix()
和Matrix::sparse.model.matrix()
(对于高维矩阵,使用model.matrix
会消耗我们的时间,如{作者所建议的那样{ {1}})。
只是在那里分享有一个整洁的编码,以获得与@fabians和@Gavin的答案相同的答案。与此同时,@ asdf123也引入了另一个包glmnet
。
library('CatEncoders')
来源:R for Everyone: Advanced Analytics and Graphics (page273)
答案 7 :(得分:1)
model.matrix(~ First + Second + Third + Fourth + Fifth - 1, data=testFrame)
或
model.matrix(~ First + Second + Third + Fourth + Fifth + 0, data=testFrame)
应该是最直接的
˚F
答案 8 :(得分:1)
您可以使用tidyverse
来实现此目的,而无需手动指定每一列。
诀窍是制作一个“长”数据框。
然后,修改一些内容,然后将其散布开来以创建指标/虚拟变量。
代码:
library(tidyverse)
## add index variable for pivoting
testFrame$id <- 1:nrow(testFrame)
testFrame %>%
## pivot to "long" format
gather(feature, value, -id) %>%
## add indicator value
mutate(indicator=1) %>%
## create feature name that unites a feature and its value
unite(feature, value, col="feature_value", sep="_") %>%
## convert to wide format, filling missing values with zero
spread(feature_value, indicator, fill=0)
输出:
id Fifth_Edward Fifth_Frank Fifth_Georgia Fifth_Hank Fifth_Isaac First_2 First_3 First_4 ...
1 1 1 0 0 0 0 0 0 0
2 2 0 1 0 0 0 0 0 0
3 3 0 0 1 0 0 0 0 0
4 4 0 0 0 1 0 0 0 0
5 5 0 0 0 0 1 0 0 0
6 6 1 0 0 0 0 0 0 0
7 7 0 1 0 0 0 0 1 0
8 8 0 0 1 0 0 1 0 0
9 9 0 0 0 1 0 0 0 0
10 10 0 0 0 0 1 0 0 0
11 11 1 0 0 0 0 0 0 0
12 12 0 1 0 0 0 0 0 0
...
答案 9 :(得分:0)
一个tidyverse
答案:
library(dplyr)
library(tidyr)
result <- testFrame %>%
mutate(one = 1) %>% spread(Fourth, one, fill = 0, sep = "") %>%
mutate(one = 1) %>% spread(Fifth, one, fill = 0, sep = "")
产生期望的结果(与@Gavin Simpson的答案相同):
> head(result, 6)
First Second Third FourthAlice FourthBob FourthCharlie FourthDavid FifthEdward FifthFrank FifthGeorgia FifthHank FifthIsaac
1 1 5 4 0 0 1 0 0 1 0 0 0
2 1 14 10 0 0 0 1 0 0 1 0 0
3 2 2 9 0 1 0 0 1 0 0 0 0
4 2 5 4 0 0 0 1 0 1 0 0 0
5 2 13 5 0 0 1 0 1 0 0 0 0
6 2 15 7 1 0 0 0 1 0 0 0 0
答案 10 :(得分:0)
一个stats
软件包的答案:
new_tr <- model.matrix(~.+0,data = testFrame)
在R中向模型公式(例如,在lm()中)添加+0(或-1)可抑制截距。
答案 11 :(得分:0)
我编写了一个名为 ModelMatrixModel 的包来改进 model.matrix() 的功能。默认情况下,包中的 ModelMatrixModel() 函数返回一个类,该类包含一个具有各级虚拟变量的稀疏矩阵,适合在 glmnet 包中的 cv.glmnet() 中输入。重要的是,返回 类还存储转换参数,例如因子级别信息,然后可以将其应用于新数据。该函数可以处理 r 公式中的大多数项目,如 poly() 和交互。它还提供了其他几个选项,例如处理无效因子水平和缩放输出。
#devtools::install_github("xinyongtian/R_ModelMatrixModel")
library(ModelMatrixModel)
testFrame <- data.frame(First=sample(1:10, 20, replace=T),
Second=sample(1:20, 20, replace=T), Third=sample(1:10, 20, replace=T),
Fourth=rep(c("Alice","Bob","Charlie","David"), 5))
newdata=data.frame(First=sample(1:10, 2, replace=T),
Second=sample(1:20, 2, replace=T), Third=sample(1:10, 2, replace=T),
Fourth=c("Bob","Charlie"))
mm=ModelMatrixModel(~First+Second+Fourth, data = testFrame)
class(mm)
## [1] "ModelMatrixModel"
class(mm$x) #default output is sparse matrix
## [1] "dgCMatrix"
## attr(,"package")
## [1] "Matrix"
data.frame(as.matrix(head(mm$x,2)))
## First Second FourthAlice FourthBob FourthCharlie FourthDavid
## 1 7 17 1 0 0 0
## 2 9 7 0 1 0 0
#apply the same transformation to new data, note the dummy variables for 'Fourth' includes the levels not appearing in new data
mm_new=predict(mm,newdata)
data.frame(as.matrix(head(mm_new$x,2)))
## First Second FourthAlice FourthBob FourthCharlie FourthDavid
## 1 6 3 0 1 0 0
## 2 2 12 0 0 1 0