在列表中重新编码变量

时间:2015-01-17 14:34:21

标签: r list function lapply recode

我想我的写作本着“毫无疑问太容易”的精神,我只是一个普通的Stata用户社会科学家,第一次接近R并且面对无尽的夜晚......请怜悯!< / p>

我正在使用来自20个国家的比较数据集(大约20,000个观察结果,各国之间相当平衡)。 我必须执行一组计算密集度很高的MCMC模拟,因此我决定将df拆分为包含20(特定国家/地区)df的列表,然后继续lapply()。 (我读到在R上避免for循环更有效,对吗?)

我最直接的问题是我无法预处理列表中包含的各种df中的元素。特别是,我必须重新编码一组15个变量,这些变量是从0到10的整数,包括丢失案例的SPSS典型值:77 88, 89, 99, 999。我想将这些值重新编码为NA,然后进行一些额外的转换:以0为中心,定义两个df对象TTT,其中包含两组不同的变量,稍后将用于模拟。此任务必须在20个不同的国家特定列表元素中重复,这些元素组成“主”列表“ees2009split”。

ees2009split <- vector("list", 20)
ees2009split <- split(ees2009, ees2009$t102) # t102 is the country identifier
names(ees2009split) <- country.names[1:2]    # rename list objects with country names

所以这是我的清单(抱歉,我无法提供可重现的例子):

    > str(ees2009split)
List of 20
 $         Austria :'data.frame':   1000 obs. of  17 variables:
  ..$ t102   : int [1:1000] 1040 1040 1040 1040 1040 1040 1040 1040 1040 1040 ...
  ..$ q46    : int [1:1000] 77 2 5 5 5 77 5 5 5 77 ...
  ..$ q47_p1 : int [1:1000] 77 3 5 4 77 77 5 1 89 77 ...
  ..$ q47_p2 : int [1:1000] 77 8 7 6 77 77 5 6 5 77 ...
  ..$ q47_p3 : int [1:1000] 77 10 10 9 77 77 5 7 7 77 ...
  ..$ q47_p4 : int [1:1000] 77 10 9 8 77 77 5 7 4 77 ...
  ..$ q47_p5 : int [1:1000] 77 2 5 3 77 77 5 1 3 77 ...
  ..$ q47_p6 : int [1:1000] 77 4 89 5 77 77 89 2 89 77 ...
  ..$ q47_p7 : int [1:1000] 77 3 89 6 77 77 89 3 5 77 ...
  ..$ q47_p8 : int [1:1000] 77 1 0 0 77 77 5 0 89 77 ...
  ..$ q47_p9 : int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p10: int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p11: int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p12: int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p13: int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p14: int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p15: int [1:1000] 99 99 99 99 99 99 99 99 99 99 ...
 $         Belgium :'data.frame':   1002 obs. of  17 variables:
  ..$ t102   : int [1:1002] 1056 1056 1056 1056 1056 1056 1056 1056 1056 1056 ...
  ..$ q46    : int [1:1002] 5 0 77 88 77 88 5 2 77 5 ...
  ..$ q47_p1 : int [1:1002] 88 5 77 77 6 77 5 77 5 77 ...
  ..$ q47_p2 : int [1:1002] 88 10 77 77 8 77 89 77 10 77 ...
  ..$ q47_p3 : int [1:1002] 88 7 77 77 5 77 3 77 0 77 ...
  ..$ q47_p4 : int [1:1002] 88 10 77 77 10 77 10 77 10 77 ...
  ..$ q47_p5 : int [1:1002] 88 0 77 77 4 77 4 77 5 77 ...
  ..$ q47_p6 : int [1:1002] 99 99 77 99 99 77 99 77 99 99 ...
  ..$ q47_p7 : int [1:1002] 99 99 77 99 99 77 99 77 99 99 ...
  ..$ q47_p8 : int [1:1002] 99 99 88 99 99 77 99 77 99 99 ...
  ..$ q47_p9 : int [1:1002] 99 99 77 99 99 77 99 77 99 99 ...
  ..$ q47_p10: int [1:1002] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p11: int [1:1002] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p12: int [1:1002] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p13: int [1:1002] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p14: int [1:1002] 99 99 99 99 99 99 99 99 99 99 ...
  ..$ q47_p15: int [1:1002] 99 99 99 99 99 99 99 99 99 99 ...
等等......直到20国。

我定义了两个用lapply()调用的函数,函数rename()recode()

rename <- function(x) {
    # renaming
    names(x) <- gsub("q46", "lr.self", names(x))
    names(x) <- gsub("q47_p", "lr.p", names(x))
    return(x)
}       

到目前为止一切顺利:

> processed.dat <- lapply(ees2009split, renaming)
> str(processed.dat)
List of 20
 $         Austria :'data.frame':   1000 obs. of  17 variables:
  ..$ t102   : int [1:1000] 1040 1040 1040 1040 1040 1040 1040 1040 1040 1040 ...
  ..$ lr.self: int [1:1000] 77 2 5 5 5 77 5 5 5 77 ...
  ..$ lr.p1  : int [1:1000] 77 3 5 4 77 77 5 1 89 77 ...
# I omit the rest...

使用重新编码功能,我很难相反:

recoding <- function(x){
        # recode missing values
        x$lr.self[lr.self %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p1[lr.p1 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p2[lr.p2 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p3[lr.p3 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p4[lr.p4 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p5[lr.p5 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p6[lr.p6 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p7[lr.p7 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p8[lr.p8 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p9[lr.p9 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p10[lr.p10 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p11[lr.p11 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p12[lr.p12 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p13[lr.p13 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p14[lr.p14 %in% c(77, 88, 89, 98, 99, 999)] <- NA
        x$lr.p15[lr.p15 %in% c(77, 88, 89, 98, 99, 999)] <- NA

        x$T <- cbind(lr.self, lr.p1, lr.p2, lr.p3, lr.p4, lr.p5, lr.p6, lr.p7, lr.p8, lr.p9, lr.p10, lr.p11, lr.p12, lr.p13, lr.p14, lr.p15) 
        T <- T - 5      # centering on 0

        lrself.resc <- T[,1]    # rescaled lr.self
        TT <- T[,-1]            # whole matrix rescaled

        N <- nrow(TT)
        q <- ncol(TT)
        z <- TT
        x$dat.list <- list(lr.self=lr.self, lr.p1=lr.p1, lr.p2=lr.p2, lr.p3=lr.p3, lr.p4=lr.p4, lr.p5=lr.p5, lr.p6=lr.p6, lr.p7=lr.p7, lr.p8=lr.p8, lr.p9=lr.p9, lr.p10=lr.p10, lr.p11=lr.p11, lr.p12=lr.p12, lr.p13=lr.p13, lr.p14=lr.p14, lr.p15=lr.p15, T=T, TT=TT, lrself.resc, N=N, q=q, z=z)
        return(x$dat.list)
}

这是输出:

> processed.dat <- lapply(ees2009split, recoding)
Error in match(x, table, nomatch = 0L) : object 'lr.self' not found
Called from: FUN(X[[1L]], ...)
Browse[1]> 

1)我应该如何在包含在lapply()列表中的数据框中重新编码变量?更广泛地说,如何在函数中的国家/地区内插入对象? 2)在更一般的立场上,这种方式是正确的吗?拆分,定义任务特定的函数,用lapply()调用它们,最后重新组合?

感谢您提出任何建议或意见。 安德烈

1 个答案:

答案 0 :(得分:2)

这应该用于数据清理。我使用您可能必须使用此命令安装的库gdatainstall.packages('gdata')。在其中,您将找到一个最有用的功能,即unknownToNA()。请参阅下面的示例。 正如我所说,在分割数据之前,我更愿意进行清洁。我冒昧地使用了EES 2009 dataset

library(foreign)
library(gdata)
#setwd("/Data/sample")
#list.files()
mydata <- read.dta("ZA5055_v1-1-0.dta")
keepvars <- grep("^q46|^q47|^t102",names(mydata), value=T)
mydata2 <- subset(mydata, select=keepvars)
rm(mydata)
str(mydata2)
head(mydata2)
naval <- c(77, 88, 89, 99, 999)
mydata3 <- unknownToNA(mydata2, unknown=list(.default=naval))
head(mydata3)

#      t102 q46 q47_p1 q47_p2 q47_p3 q47_p4 q47_p5 q47_p6 q47_p7 q47_p8 q47_p9 q47_p10 q47_p11 q47_p12 q47_p13
# 1 Austria  NA     NA     NA     NA     NA     NA     NA     NA     NA     NA      NA      NA      NA      NA
# 2 Austria   2      3      8     10     10      2      4      3      1     NA      NA      NA      NA      NA
# 3 Austria   5      5      7     10      9      5     NA     NA      0     NA      NA      NA      NA      NA
# 4 Austria   5      4      6      9      8      3      5      6      0     NA      NA      NA      NA      NA
# 5 Austria   5     NA     NA     NA     NA     NA     NA     NA     NA     NA      NA      NA      NA      NA
# 6 Austria  NA     NA     NA     NA     NA     NA     NA     NA     NA     NA      NA      NA      NA      NA
# q47_p14 q47_p15
# 1      NA      NA
# 2      NA      NA
# 3      NA      NA
# 4      NA      NA
# 5      NA      NA
# 6      NA      NA

如果您因某种原因希望先拆分,请转到:

    library(gdata)
    ees2009split <- split(mydata2, mydata2$t102)
    ees2009split <- unknownToNA(ees2009split, unknown=list(.default=list(naval)))
    head(ees2009split[[1]])


     t102 q46 q47_p1 q47_p2 q47_p3 q47_p4 q47_p5 q47_p6 q47_p7 q47_p8 q47_p9 q47_p10 q47_p11 q47_p12 q47_p13
1 Austria  NA     NA     NA     NA     NA     NA     NA     NA     NA     NA      NA      NA      NA      NA
2 Austria   2      3      8     10     10      2      4      3      1     NA      NA      NA      NA      NA
3 Austria   5      5      7     10      9      5     NA     NA      0     NA      NA      NA      NA      NA
4 Austria   5      4      6      9      8      3      5      6      0     NA      NA      NA      NA      NA
5 Austria   5     NA     NA     NA     NA     NA     NA     NA     NA     NA      NA      NA      NA      NA
6 Austria  NA     NA     NA     NA     NA     NA     NA     NA     NA     NA      NA      NA      NA      NA
  q47_p14 q47_p15
1      NA      NA
2      NA      NA
3      NA      NA
4      NA      NA
5      NA      NA
6      NA      NA

我恐怕我不明白你的下一步足以帮助进一步。 但通常对于缩放我使用scale函数,该函数以0为中心并规范化:

head(scale(mydata3[,-1]))