检查和可视化大型数据框中的间隙/空白和结构

Question

我有一个大型数据框（400000 x 50），我想直观地检查结构和空白/间隙。

是否有现有的库或ggplot2函数，可以吐出这样的图片：

其中红色可能是“日期”，蓝色代表“因子”，绿色代表“字符”，黑色代表空白/ NA。

Answer 1

您是否在dfviewr中尝试了lasagnar？以下内容为包中的50行x 10列df.in再现了所需的图形：

library(devtools)
install_github("swihart/lasagnar")
library(lasagnar)   
dfviewr(df=df.in)
## also try:
##dfviewr(df=df.in, legend=FALSE)
##dfviewr(df=df.in, gridlines=FALSE)

所以，公平地说，dfviewr在问题出现时并不存在，但要看到导致其发展的一些想法以及如何实际可视化400,000行，请参阅for循环在最底层，并且不要太莽撞并在df2.in（400,000 x 50）上运行该功能：

## Do not run:
## system.time(dfviewr(df=df2.in, gridlines=FALSE)) ## 10 minutes before useRaster=TRUE                                          
                                                    ##  2 minutes after

此外，tabplot:::tableplot()似乎不支持日期或字符：

library(tabplot)
tableplot(df.in)

产生

Error in ff(initdata = initdata, length = length, levels = levels, ordered = ordered, : vmode 'character' not implemented

所以我们删除了字符列（＃9）：

tableplot(df.in[,c(-9)])

产生：

Error in UseMethod("as.hi") : no applicable method for 'as.hi' applied to an object of class "c('POSIXct', 'POSIXt')"

所以我们也删除了第一列（日期）：

tableplot(df.in[,c(-1,-9)])

并获取

对于没有日期或字符列的400,000 x 50 df2.in，图像渲染非常快（6秒）：

system.time(tableplot(df2.in[,c(-(1+seq(0,40,10)), -(9+seq(0,40,10))) ]))

感兴趣的读者......

我首先介绍50行的婴儿示例，然后是400,000行的示例。

对于它的价值，我在@cmbarbu的评论中，关于在同一个地块上直观地观察400K行的评论受到屏幕的限制，该屏幕最多具有2K像素的高度，因此某些分隔页面可能是有益的防止过度绘图。我通过在1000个图表/页面中制作包含400行的PDF文档来尝试将此分开。

我不知道将使用data.frame作为输入呈现请求的绘图的函数。我的方法将生成data.frame的矩阵掩码，然后使用lasagnar package on github中的lasagna()。 lasagna()是函数image( t(X)[, (nrow(X):1)] )的包装器，其中X是一个矩阵。此调用重新排序行以使它们与data.frame的顺序匹配，并且包装器允许切换网格线并添加图例（legend = TRUE将调用image.plot( t(X)[, (nrow(X):1)] ) - 但是，在下面的示例中，显式添加不使用image.plot（）的图例。

任务的库

library(fields)
library(colorspace)  
library(lubridate)
library(devtools)
install_github("swihart/lasagnar")
library(lasagnar)   

创建50行的样本数据帧（例如400K示例之前的婴儿示例）

df.in <- data.frame(date=seq(ymd('2012-04-07'),ymd('2013-03-22'), 
                    by = '1 week'),
           col1=rnorm(50),
           col2=rnorm(50),
           col3=rnorm(50),
           col4=rnorm(50),
           col5=as.factor(c("A","B")),
           col6=as.factor(c("MS","PHD")),
           col7=rnorm(50),
           col8=(c("cherlene","randy")),
           col9=rnorm(50),
           stringsAsFactors=FALSE)

诱导缺失

df.in[19:23  , 2:4  ] <- NA
df.in[c(7, 9),      ] <- NA
df.in[2:30   , 4    ] <- NA
df.in[10     , 7    ] <- NA
df.in[14     , 6:10 ] <- NA

检查结构

str(df.in)

准备掩模矩阵

mat.out <- matrix(NA, nrow=nrow(df.in), ncol=ncol(df.in))

然后遍历列的类型;最后应用is.na（）

## red for dates
mat.out[,sapply(df.in,is.POSIXct)] <- 1
## blue for factors
mat.out[,sapply(df.in,is.factor)] <- 2
## green for characters
mat.out[,sapply(df.in,is.character)] <- 3
## white for numeric
mat.out[,sapply(df.in,is.numeric)] <- 4
## black for NA
mat.out[is.na(df.in)] <- 5

行名称可能很适合追溯到原始数据

row.names(mat.out) <- 1:nrow(df.in)

render {lasagna（X）是图像的包装（t（X）[，（nrow（X）：1）]）}

lasagna(mat.out, col=c("red","blue","green","white","black"), 
        cex=0.67, main="")

传说是可能的：

lasagna(mat.out, col=c("red","blue","green","white","black"), 
        cex=.67, main="")
legend("bottom", fill=c("red","blue","green","white","black"),
        legend=c("dates", "factors", "characters", "numeric", "NA"), 
        horiz=T, xpd=NA, inset=c(-.15), border="black")

使用网格线= FALSE

关闭网格线

lasagna(mat.out, col=c("red","blue","green","white","black"), 
        cex=.67, main="", gridlines=FALSE)
legend("bottom", fill=c("red","blue","green","white","black"),
        legend=c("dates", "factors", "characters", "numeric", "NA"), 
        horiz=T, xpd=NA, inset=c(-.15), border="black")

让我们举一个OP数据大小的例子：400,000行x 50 cols

创建示例数据框

df2.10 <- data.frame(date=seq(ymd('2012-04-07'),ymd('2013-03-22'), 
                    by = '1 week'),
           col1=rnorm(400000),
           col2=rnorm(400000),
           col3=rnorm(400000),
           col4=rnorm(400000),
           col5=as.factor(c("A","B")),
           col6=as.factor(c("MS","PHD")),
           col7=rnorm(400000),
           col8=(c("cherlene","randy")),
           col9=rnorm(400000),
           stringsAsFactors=FALSE)

诱导缺失

df2.10[c(19:23), c(2:4)  ] <- NA
df2.10[c(7,  9),         ] <- NA
df2.10[c(2:30), 4        ] <- NA
df2.10[10     , 7        ] <- NA
df2.10[14     , c(6:10)  ] <- NA    
df2.10[c(450:750), ] <- NA
df2.10[c(399990:399999), ] <- NA

进入50列宽df;检查结构

df2.in <- cbind(df2.10, df2.10, df2.10, df2.10, df2.10)
str(df2.in)

准备掩模矩阵

mat.out <- matrix(NA, nrow=nrow(df2.in), ncol=ncol(df2.in))

然后遍历列的类型;最后应用is.na（）

## red for dates
mat.out[,sapply(df2.in,is.POSIXct)] <- 1
## blue for factors
mat.out[,sapply(df2.in,is.factor)] <- 2
## green for characters
mat.out[,sapply(df2.in,is.character)] <- 3
## white for numeric
mat.out[,sapply(df2.in,is.numeric)] <- 4
## black for NA
mat.out[is.na(df2.in)] <- 5

行名称可能很适合追溯到原始数据

row.names(mat.out) <- 1:nrow(df2.in)

渲染{lasagna_plain（X）没有gridelines或rownames}

pdf("pages1000.pdf")
  system.time(
    for(i in 1:1000){
        lasagna_plain(mat.out[((i-1)*400+1):(400*i),],
                      col=c("red","blue","green","white","black"), cex=1, 
                      main=paste0("rows: ", (i-1)*400+1,  " - ",  (400*i)))
    }
  )
dev.off()

for循环在我的机器上完成了40秒，此后很快就完成了PDF。现在只需在PDF查看器中标准化页面大小后向下翻页，查看这些页面/图表：

Answer 2

您可能需要查看tabplot包。如此大的data.frame加载需要一段时间，但它也应该正确识别缺失值。更多信息here。

这是使用钻石data.frame的图像示例。

修改

我刚看到你说你的df有50列。我在df的大小上使用了tabplot，并找到了受屏幕宽度限制的信息分辨率。行计数也可能是一个问题，但我个人发现如果df太宽，会丢失更多信息。因此，我建议您将其解析为3个单独的df（例如使用dplyr），然后通过tableplot()函数tabplot或类似函数运行它们。

Answer 3

给这一点。

require(Amelia)
data(freetrade)
missmap(freetrade)

它不会做红色，蓝绿色，但它会得到你的网格。我还给了VIM包，因为它提供了许多可视化缺失数据的选项。

http://www.statistik.tuwien.ac.at/forschung/CS/CS-2008-1complete.pdf

Answer 4

假设您所说的空白/缺口是缺失值（NA）

image(t(as.matrix(is.na(df))))