Question

我将几个大型csv文件与对象的到达（ATA）和离开（ATD）时间结合在一起。合并文件后，我无法使用熟悉的方法删除<NA>行。 Windows和Unix文件在换行符和回车符之间的来源可能有所不同。但我不想更改csv文件。我希望能够更正R中的数据帧。

我合并了几个包含相同变量的大型csv文件，例如：

# read csv files
df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE)
df2 <- read.csv("data_2.csv", stringsAsFactors = FALSE)
df3 <- read.csv("data_3.csv", stringsAsFactors = FALSE)

# combine csv files
combidat <- rbind(df1, df2, df3)

# remove duplicate entries
combidat <- combidat[!duplicated(combidat), ]

要删除ID为<NA>（第一列变量）的条目，我使用以下几种方法之一：

combidat <- combidat[!is.na(combidat$ID),]
combidat <- combidat[complete.cases(combidat[ , 1]),]
combidat <- combidat[rowSums(is.na(combidat)) != ncol(combidat),]

我还发现：

combidat <- combidat[-which(apply(combidat,1,function(x)all(is.na(x)))),]

但是我不能使用这种方法。如果我这样做，combidat会变成空的。

如果我检查结果：

combidat[is.na(combidat$ID),]

我得到：

 [1] ID            ATA            ATD            object
<0 rows> (or 0-length row.names)

但是，如果我检查不一致之处，即到达时间之前的出发时间：

combidat[(ATD<ATA),]

我得到：

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089
NA             NA                     <NA>                      <NA>        NA
NA.1           NA                     <NA>                      <NA>        NA
NA.2           NA                     <NA>                      <NA>        NA
NA.3           NA                     <NA>                      <NA>        NA
NA.4           NA                     <NA>                      <NA>        NA
NA.5           NA                     <NA>                      <NA>        NA
NA.6           NA                     <NA>                      <NA>        NA
NA.7           NA                     <NA>                      <NA>        NA

我希望得到的是：

               ID                      ATA                       ATD    object
233      51586002      2016-03-14 09:44:00       2016-03-14 09:00:00    car718
798      54846070      2016-06-19 01:37:00       2016-04-07 23:59:00    car276
4126     56066767      2016-03-31 14:00:00       2016-03-30 07:00:00    car089

任何解释我做错了什么以及如何纠正它，将不胜感激。

[2019年6月28日添加] 导入的csv文件出了点问题。换行符/回车以某种方式在数据字段中返回，被解释为记录标记的结尾。我玩弄了'quote'：

df1 <- read.csv("data_1.csv", stringsAsFactors = FALSE, quote = "\"'")

这会产生一些影响，但我做得不好。

Answer 1

gdevaux指出，也许您的“ NA”是字符。在这种情况下，您可以使用dplyr软件包过滤数据（也可以尝试使用base R进行过滤）：

library(data.table)
setDT(df1)[dfd2, on = .(ID)]

它也可能有空格，在这种情况下，您可以在导入中进行修剪或对列进行修剪，然后重试上面的代码。

library(dplyr)
combidat<- combidat%>% filter(!ID=="NA")

最后，看来您的ID列仅由数字ID组成。在这种情况下，您可以将列设为数字，从而将NA值强制为实数NA。

library(stringr)    
combidat<- combidat%>% 
      mutate(ID=str_trim(ID, side = "both"))%>%
      filter(!ID=="NA")

如果值被强制，R会告诉您。

Answer 2

以上两个答案将对您有所帮助。这是从数据框中过滤空观察值和变量的另一种方法。

#install.packages("janitor")
library(janitor)
remove_empty(combidat, "rows")

在R中导入CSV数据后如何删除空行

3 个答案: