如何为数据框中的多个标记向量设置缺失值。我正在使用spss的调查数据集。我正在处理大约20个不同的变量,具有相同的缺失值。所以想找到一种方法来使用lapply()来完成这项工作,但我不能。
我实际上可以通过as.numeric()然后重新编码()来使用基本R,但是我对避风港和标记类的可能性很感兴趣所以我想找到一种方法来完成所有这些哈德利整齐的
大致感兴趣的变量看起来像这样。如果这是一个基本问题,我很抱歉,但我发现与避风港相关联的帮助文档和标记的包只是非常无益。
library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
lapply(v3, function(x) set_na_values(x, c(5,6)))
答案 0 :(得分:10)
好的,我想我现在明白你要做什么......
即。将标签和值标记为NA,而不删除基础导入数据...
有关更详细的示例,请参阅附录,该示例使用公开数据文件显示一个示例,该示例利用dplyr
来更新多个列,标签......
df <- data_frame(s1 = c(1,2,2,2,5,6), s2 = c(1,2,2,2,5,6)) %>%
set_value_labels(s1 = c(agree=1, disagree=2, dk=5, refused=6),
s2 = c(agree=1, disagree=2, dk = tagged_na("5"), refused = tagged_na("6"))) %>%
set_na_values(s2 = c(5,6))
val_labels(df)
is.na(df$s1)
is.na(df$s2)
df
> library(haven)
> library(labelled)
> library(dplyr)
> df <- data_frame(s1 = c(1,2,2,2,5,6), s2 = c(1,2,2,2,5,6)) %>%
+ set_value_labels(s1 = c(agree=1, disagree=2, dk=5, refused=6),
+ s2 = c(agree=1, disagree=2, dk = tagged_na("5"), refused = tagged_na("6"))) %>%
+ set_na_values(s2 = c(5,6))
> val_labels(df)
$s1
agree disagree dk refused
1 2 5 6
$s2
agree disagree dk refused
1 2 NA NA
> is.na(df$s1)
[1] FALSE FALSE FALSE FALSE FALSE FALSE
> is.na(df$s2)
[1] FALSE FALSE FALSE FALSE TRUE TRUE
> df
# A tibble: 6 × 2
s1 s2
<dbl+lbl> <dbl+lbl>
1 1 1
2 2 2
3 2 2
4 2 2
5 5 5
6 6 6
mean(df$s1, na.rm = TRUE)
mean(df$s2, na.rm = TRUE)
> mean(df$s1, na.rm = TRUE)
[1] 3
> mean(df$s2, na.rm = TRUE)
[1] 1.75
如果您想剥离标签并替换为R NA值,可以使用remove_labels(x, user_na_to_na = TRUE)
df <- remove_labels(df, user_na_to_na = TRUE)
df
> df <- remove_labels(df, user_na_to_na = TRUE)
> df
# A tibble: 6 × 2
s1 s2
<dbl> <dbl>
1 1 1
2 2 2
3 2 2
4 2 2
5 5 NA
6 6 NA
-
IBM SPSS(应用程序)可以以多种格式和非矩形配置导入和导出数据;但是,数据集始终转换为SPSS矩形数据文件,称为系统文件(使用扩展名* .sav)。元数据(有关数据的信息),如变量格式,缺失值,变量和值标签,与数据集一起存储。
Base R有一种数据类型可以有效地维护整数和字符标签之间的映射:因子。然而,这不是因素的主要用途:它们被设计为自动生成线性模型的有用对比。因素与其他工具在重要方面提供的标注值不同:
SPSS和SAS可以标记数字和字符值,而不仅仅是整数值。
所有三个工具(SPSS,SAS,Strata)都提供全局“系统缺失值”,显示为.
。这大致相当于R NA
,尽管Stata和SAS都没有在数字比较中传播缺失:SAS将缺失值视为最小可能数(即-inf),Stata将其视为最大可能数(即INF)。
每个工具还提供记录多种类型缺失的机制:
SPSS的用户定义值与SAS和Stata的工作方式不同。每列可以包含最多三个被视为缺失的不同值或一个范围。 Haven
提供labelled_spss()
作为labelled()
的子类,以模拟这些额外的用户定义的错失。
x1 <- labelled_spss(c(1:10, 99), c(Missing = 99), na_value = 99)
x2 <- labelled_spss(c(1:10, 99), c(Missing = 99), na_range = c(90, Inf))
x1
#> <Labelled SPSS double>
#> [1] 1 2 3 4 5 6 7 8 9 10 99
#> Missing values: 99
#>
#> Labels:
#> value label
#> 99 Missing
x2
#> <Labelled SPSS double>
#> [1] 1 2 3 4 5 6 7 8 9 10 99
#> Missing range: [90, Inf]
#>
#> Labels:
#> value label
#> 99 Missing
为了支持Stata的扩展和SAS的特殊缺失值,避风港实现了标记的NA。它通过利用浮点NA的内部结构来实现这一点。这允许这些值在常规R操作中表现为与NA相同,同时仍然保留标记的值。
使用已标记的NA
进行创建的R界面有点笨拙,因为通常它们都会为您创建。但您可以使用tagged_na()创建自己的:
请注意,即使在打印时,这些标记的NA的行为也与常规的NA相同。要查看其标记,请使用print_tagged_na():
library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=tagged_na("5"), refused= tagged_na("6")))
v3<-data.frame(v1 = v1, v2 = v2)
v3
lapply(v3, val_labels)
> v3
x x.1
1 1 1
2 2 2
3 2 2
4 2 2
5 5 5
6 6 6
> lapply(v3, val_labels)
$x
agree disagree dk refused
1 2 5 6
$x.1
agree disagree dk refused
1 2 NA NA
SPSS的用户定义值与SAS和Stata的工作方式不同。每列可以包含最多三个被视为缺失的不同值或一个范围。 Haven提供labelled_spss()
作为labeled()的子类来模拟这些额外的用户定义的缺失。
我希望以上帮助
保重 吨。
首先,让我们确保强调一下
让我们查看图片和数据...变量视图中显示的SPSS数据显示每行都有一个标签 [Column5],我们注意到第10到14行具有属于他们的特定值[1..6] [列6]具有名称属性,并且没有将值指定为缺少 [第7列]。
现在让我们看一下SPSS数据视图:
我们可以在这里注意到数据缺失...(见高视&#34;。&#34;&#39; s)。关键是我们有缺少数据,但目前没有&#34;缺少用户价值&#34;
hospital_url <- "https://www.spss-tutorials.com/downloads/hospital.sav"
hospital <- read_sav(hospital_url,
user_na = FALSE)
head(hospital,5)
# We're interested in columns 10 through 14...
head(hospital[10:14],5)
> hospital_url <- "https://www.spss-tutorials.com/downloads/hospital.sav"
> hospital <- read_sav(hospital_url,
+ user_na = FALSE)
> head(hospital,5)
# A tibble: 5 × 14
visit_id patient_id first_name surname_prefix last_name gender entry_date entry_time
<dbl> <dbl> <chr> <chr> <chr> <dbl+lbl> <date> <time>
1 32943 23176 JEFFREY DIJKSTRA 1 2013-01-08 16:56:10
2 32944 20754 MARK VAN DER BERG 1 2013-02-01 14:24:45
3 32945 25419 WILLEM VERMEULEN 1 2013-02-02 10:01:43
4 32946 21139 LINDA JANSSEN 0 2013-02-10 10:24:39
5 32947 25419 WILLEM VERMEULEN 1 2013-02-10 18:05:59
# ... with 6 more variables: exit_moment <dttm>, doctor_rating <dbl+lbl>, nurse_rating <dbl+lbl>,
# room_rating <dbl+lbl>, food_rating <dbl+lbl>, facilities_rating <dbl+lbl>
1="Very Dissatisfied"
2="Dissatisfied"
3="Neutral"
4="Satisfied"
5="Very Satisfied"
6="Not applicable or don't want to answer"
因此:
> head(hospital[10:14],5)
# A tibble: 5 × 5
doctor_rating nurse_rating room_rating food_rating facilities_rating
<dbl+lbl> <dbl+lbl> <dbl+lbl> <dbl+lbl> <dbl+lbl>
1 5 5 4 2 3
2 4 5 4 3 3
3 5 6 4 5 4
4 4 5 5 4 4
5 5 5 6 6 6
> lapply(hospital[10], val_labels)
$doctor_rating
Very dissatisfied Dissatisfied
1 2
Neutral Satisfied
3 4
Very satisfied Not applicable or don't want to answer
5 6
好的,请注意,上面我们可以确认我们已经导入了价值标签。
我们的目标是立即删除&#34;不适用或不想回答&#34; 数据条目,方法是将其设置为&#34;用户NA值&#34; 即SPSS 缺失值。
解决方案 - 第1步 - 单列
我们希望在数据中的多个列中设置缺失值属性...首先对一列执行此操作...
注意我们使用add_value_labels
而不是set_value_labels
,因为我们希望附加新标签,而不是完全覆盖现有标签......
d <- hospital
mean(d$doctor_rating, na.rm = TRUE)
d <- hospital %>%
add_value_labels( doctor_rating = c( "Not applicable or don't want to answer"
= tagged_na("6") )) %>%
set_na_values(doctor_rating = 5)
val_labels(d$doctor_rating)
mean(d$doctor_rating, na.rm = TRUE)
> d <- hospital
> mean(d$doctor_rating, na.rm = TRUE)
[1] 4.322368
> d <- hospital %>%
+ add_value_labels( doctor_rating = c( "Not applicable or don't want to answer"
+ = tagged_na("6") )) %>%
+ set_na_values(doctor_rating = 6)
> val_labels(d$doctor_rating)
Very dissatisfied Dissatisfied
1 2
Neutral Satisfied
3 4
Very satisfied Not applicable or don't want to answer
5 6
Not applicable or don't want to answer
NA
> mean(d$doctor_rating, na.rm = TRUE)
[1] 4.097015
mean(hospital$nurse_rating)
mean(hospital$nurse_rating, na.rm = TRUE)
d <- hospital %>%
add_value_labels( doctor_rating = c( "Not applicable or don't want to answer"
= tagged_na("6") )) %>%
set_na_values(doctor_rating = 6) %>%
add_value_labels( nurse_rating = c( "Not applicable or don't want to answer"
= tagged_na("6") )) %>%
set_na_values(nurse_rating = 6)
mean(d$nurse_rating, na.rm = TRUE)
请注意,nurse_rating包含&#34; NaN&#34;值和 NA标记值。 第一个mean()调用失败,第二个调用成功,但包括&#34; Not Applicable ...&#34;过滤后&#34;不适用......&#34;被删除......
> mean(hospital$nurse_rating)
[1] NaN
> mean(hospital$nurse_rating, na.rm = TRUE)
[1] 4.471429
> d <- hospital %>%
+ add_value_labels( doctor_rating = c( "Not applicable or don't want to answer"
+ = tagged_na("6") )) %>%
+ set_na_values(doctor_rating = 6) %>%
+ add_value_labels( nurse_rating = c( "Not applicable or don't want to answer"
+ = tagged_na("6") )) %>%
+ set_na_values(nurse_rating = 6)
> mean(d$nurse_rating, na.rm = TRUE)
[1] 4.341085
这里我们采用上面标记的NA并转换为R NA值。
d <- d %>% remove_labels(user_na_to_na = TRUE)
答案 1 :(得分:2)
这是对的吗?
#Using replace to substitute 5 and 6 in v3 with NA
data.frame(lapply(v3, function(a) replace(x = a, list = a %in% c(5,6), values = NA)))
# x x.1
#1 1 1
#2 2 2
#3 2 2
#4 2 2
#5 NA NA
#6 NA NA
我知道labelled_spss允许您指定na_range
甚至是na_values
#DATA
v11 = labelled_spss(x = c(1,2,2,2,5,6),
labels = c(agree=1, disagree=2, dk=5, refused=6),
na_range = 5:6)
#Check if v11 has NA values
is.na(v11)
#[1] FALSE FALSE FALSE FALSE TRUE TRUE
v22 = labelled_spss(x = c(1,2,2,2,5,6),
labels = c(agree=1, disagree=2, dk=5, refused=6),
na_range = 5:6)
#Put v11 and v22 in a list
v33 = list(v11, v22)
#Use replace like above
data.frame(lapply(X = v33, FUN = function(a) replace(x = a, list = is.na(a), values = NA)))
# x x.1
#1 1 1
#2 2 2
#3 2 2
#4 2 2
#5 NA NA
#6 NA NA
答案 2 :(得分:2)
用于操作SPSS样式的用户定义缺失值的labelled
包中的两个主要功能是na_values
和na_range
。
library(labelled)
v1 <-c(1,2,2,2,5,6)
val_labels(v1) <- c(agree=1, disagree=2, dk=5, refused=6)
na_values(v1) <- 5:6
v1
<Labelled SPSS double>
[1] 1 2 2 2 5 6
Missing values: 5, 6
Labels:
value label
1 agree
2 disagree
5 dk
6 refused
set_*
中的labelled
个函数旨在与magrittr
/ dplyr
一起使用。
library(dplyr)
d <- tibble(v1 = c(1, 2, 2, 2, 5, 6), v2 = c(1:3, 1:3))
d <- d %>%
set_value_labels(v1 = c(agree=1, disagree=2, dk=5, refused=6)) %>%
set_na_values(v1 = 5:6)
d$v1
<Labelled SPSS double>
[1] 1 2 2 2 5 6
Missing values: 5, 6
Labels:
value label
1 agree
2 disagree
5 dk
6 refused
用户定义的缺失值只是元信息。它不会更改向量中的值。这只是一种向用户说这些值可以/应该在某些上下文中被视为缺失值的方式。这意味着如果您从向量计算某些内容(例如均值),则仍会考虑这些值。
mean(v1)
[1] 3
您可以使用NA
轻松将用户定义的缺失值转换为正确的user_na_to_na
。
mean(user_na_to_na(v1), na.rm = TRUE)
[1] 1.75
很少有功能会考虑这些元信息。例如,请参阅freq
包中的questionr
函数。
library(questionr)
freq(v1)
n % val%
[1] agree 1 16.7 25
[2] disagree 3 50.0 75
[5] dk 1 16.7 NA
[6] refused 1 16.7 NA
NA 0 0.0 NA
由haven
引入的标记NA的目的是重现Stata管理缺失值的方式。所有标记的NA都在内部被 R 视为NA
。
答案 3 :(得分:1)
不太确定这是否是您要找的:
v1 <- labelled(c(1, 2, 2, 2, 5, 6), c(agree = 1, disagree = 2, dk = 5, refused = 6))
v2 <- labelled(c(1, 2, 2, 2, 5, 6), c(agree = 1, disagree = 2, dk = 5, refused = 6))
v3 <- data_frame(v1 = v1, v2 = v2)
lapply(names(v3), FUN = function(x) {
na_values(v3[[x]]) <<- 5:6
})
lapply(v3, na_values)
返回的最后一行
$v1
[1] 5 6
$v2
[1] 5 6
验证缺失值:
is.na(v3$v1)
[1] FALSE FALSE FALSE FALSE TRUE TRUE
答案 4 :(得分:1)
set_na_values
的第一个参数是数据框,而不是矢量/列,这就是您的lapply
命令不起作用的原因。您可以为数据框中的任意数量的列构建set_na_values
的参数列表,然后使用do.call
调用它,如下所示...
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
na_values(v3)
args <- c(list(.data = v3), setNames(lapply(names(v3), function(x) c(5,6)), names(v3)))
v3 <- do.call(set_na_values, args)
na_values(v3)
更新:您还可以在na_values
语句中使用lapply
函数的赋值形式,因为它接受向量作为它的第一个参数而不是像set_na_values
...
library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
na_values(v3)
v3[] <- lapply(v3, function(x) `na_values<-`(x, c(5,6)))
na_values(v3)
甚至在na_values
命令中使用lapply
的正常版本,只需确保返回“已修复的”{39}。矢量...
library(haven)
library(labelled)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
na_values(v3)
v3[] <- lapply(v3, function(x) { na_values(x) <- c(5,6); x } )
na_values(v3)
并且该想法也可以在dplyr
链中使用,既可以应用于所有变量,也可以应用于使用dplyr
选择工具选择的任何列...
library(haven)
library(labelled)
library(dplyr)
v1<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v2<-labelled(c(1,2,2,2,5,6), c(agree=1, disagree=2, dk=5, refused=6))
v3<-data.frame(v1=v1, v2=v2)
lapply(v3, val_labels)
na_values(v3)
v4 <- v3 %>% mutate_all(funs(`na_values<-`(., c(5,6))))
na_values(v4)
v5 <- v3 %>% mutate_each(funs(`na_values<-`(., c(5,6))), x)
na_values(v5)
答案 5 :(得分:0)
您可以在使用base
R:
v3[v3 == 5 ] <- NA
v3[v3 == 6 ] <- NA
但如果您正在寻找一个非常快速的解决方案,那么您可以使用data.table
方法。
library(data.table)
setDT(v3)
for(j in seq_along(v3)) {
set(v3, i=which(v3[[j]] %in% c(5,6)), j=j, value=NA)
}