当列是因子时,R data.table用“NA”替换“NULL”

时间:2015-06-12 19:19:44

标签: r data.table

我通过ODBC从SQL数据库中提取了一些数据,这些列自动设置为factor。它类似于以下内容:

library(RODBC)
library(data.table)
data <- data.table(sqlQuery(channel, query))

我的数据看起来像这样,只有更多列:

data <- data.table("C1"=as.factor(c(letters[1:4], "NULL", letters[5])),
                   "C2"=as.factor(c(rnorm(3), "NULL", rnorm(2))),
                   "C3"=as.factor(c(letters[1], "NULL", letters[2:4], "NULL")))
> data
     C1                 C2   C3
1:    a -0.190200079604691    a
2:    b  0.310548914832963 NULL
3:    c 0.0153099116493453    b
4:    d               NULL    c
5: NULL  0.157187027626419    d
6:    e  0.118537540781528 NULL
> str(data)
Classes ‘data.table’ and 'data.frame':  6 obs. of  3 variables:
 $ C1: Factor w/ 6 levels "a","b","c","d",..: 1 2 3 4 6 5
 $ C2: Factor w/ 6 levels "-0.190200079604691",..: 1 5 2 6 4 3
 $ C3: Factor w/ 5 levels "a","b","c","d",..: 1 5 2 3 4 5
 - attr(*, ".internal.selfref")=<externalptr> 

如何用NA替换“NULL”?在这里,我希望R将这些SQL“NULL”字符串视为缺失值NA。我尝试了以下方法,但似乎NA会导致问题。

for (col in names(data)) {
  set(data, which(data[[col]]=="NULL"), col, NA)
}

> Error in set(data, which(data[[col]] == "NULL"), col, NA) : 
  Can't assign to column 'C1' (type 'factor') a value of type 'logical' (not character, factor, integer or numeric)

RODBC解决方案

感谢@ user20650的建议,您可以通过执行sqlQuery来控制data <- data.table(sqlQuery(channel, query, na.strings=c("NA", "NULL")))中的缺失值。但是,如果您的数据源格式不正确,仍然可能出现此问题,因此这不是该帖子的通用解决方案。

2 个答案:

答案 0 :(得分:6)

这具有所需的效果,并且更加紧凑:

is.na(data) <- data == "NULL"

is.na.data.frame - 方法,但不是is.na[<-.dataframe - 方法。所以不确定这是否是纯粹的引用策略,因为它没有使用[.data.frame语法实现。它可能正在使用&#34; is.na&lt; - 。默认&#34;。

我认为经过更多的涂鸦后,&#34; is.na&lt; - 。默认&#34; (这只是{x[value] <- NA; x})因此最终会将此调用发送给[<-.data.table,因此可能会通过引用&#34;来完成#34;。

答案 1 :(得分:5)

这是一种方式:

data[,names(data):=lapply(.SD,function(x){
  z <- levels(x)
  z[z=="NULL"] <- NA
  `levels<-`(x,z)
})]

要查看发生的情况,请查看lapply(data,levels),您会看到"NULL"已消失。

(谢谢,@ akrun :)使用car包可以获得更简洁直观的变体:

library(car)
data[,names(data):=lapply(.SD, recode, '"NULL"=NA')]

data.table世界中,通常可以通过引用进行修改。在这种情况下,看起来像......

for (j in names(data)) setattr(data[[j]],"levels",{
  z <- levels(data[[j]])
  z[z=="NULL"] <- NA
  z
})

这可以避免像`levels<-`一样制作整个矢量的副本。