Question

我为我的数据集创建了一个线性模型，该模型由~12M行组成。使用残差我建立了异常值的边界。下栅栏和上栅栏。

现在我想提取异常值并将相应的数据放在一个向量中或将它们写入文件。

这是我原始数据集中的两行：

 print(res[1:2,])
 PIG_ID trial       res$bla   gain        LINE      CODE     comp BIRTH_WEIGHT_SCALED farm_trend birth_weight_scaled
 123456   XXX  0012345ABCDFF  1000        CCDDC        Z     <NA>               955.2         -9                  -9
 135411   XXX  11122233ASDDD  889         TTDDT        Z     <NA>                 0.0         -9                  -9

resid（lmfit）输出一堆值：

 700       750      2132      3394      4123      4213      4583      4842      5288      8287     12331     12427     13726

以下是计算模型和异常值的代码：

lmfit = lm(res$gain ~ res$trial + res$bla * res$LINE* res$CODE + res$birth_weight_scaled )

kwant <- quantile(resid(lmfit), probs= c(0.25, 0.75))
Q1 <- kwant[1]
Q3 <- kwant[2]
sigma <- IQR(resid(lmfit))
upp_multi <- 3.5        ##Amount of times sigma for outlier calculation
low_multi <- 1.5        ##Amount of times sigma for outlier calculation

upp_fence <- Q3+(upp_multi * sigma)
low_fence <- Q1-(low_multi * sigma)

print(paste("Upper fence: ", upp_fence, " \t  Lower Fence: ", low_fence ,"\n"))

我一直在谷歌搜索并尝试一些代码而没有成功。

伪代码如下：

if(resid(lmfit)>upp_fence){add res[row] to vector OutlierUpperBoundary }
if(resid(lmfit)<low_fence){add res[row] to vector OutlierLowerBoundary }

有没有办法将外围残差与原始数据集中的行分开（＆＃34; Res＆＃34;）并将它们放在矩阵中？

预期输出将是包含具有异常值的行的矩阵：

 PIG_ID trial       res$bla   gain        LINE      CODE     comp BIRTH_WEIGHT_SCALED farm_trend birth_weight_scaled
 135411   XXX  11122233ASDDD  889         TTDDT        Z     <NA>                 0.0         -9                  -9

修改

使用以下for循环复制原始矩阵的整个大小，但只是向外围行添加值：

OutliersUpperBoundary <- data.frame(matrix(ncol = ncol(res)))
for (row in 1:length(resid(lmfit))){
    if(resid(lmfit)[row]>upp_fence){
        OutliersUpperBoundary[row,] <- res[row,]
    }
}

结果：

694          NA <NA>           <NA>   NA  <NA> <NA>       <NA>     NA NA  NA
695          NA <NA>           <NA>   NA  <NA> <NA>       <NA>     NA NA  NA
696   112341234  XXX 11213421LAAAAA  915 TTTTT    B       <NA>  175.2 -9  -9
697          NA <NA>           <NA>   NA  <NA> <NA>       <NA>     NA NA  NA
698          NA <NA>           <NA>   NA  <NA> <NA>       <NA>     NA NA  NA

我应该以什么方式将for循环更改为仅使用值获取行？（我认为rbind可能会在这里工作）

另外，知道一点R，我认为必须有一个更快的方法，然后使用for循环（我的数据集是12M +行，我必须通过这个过程14次。）

Answer 1

你可以尝试循环。

OutlierUpperBoundary <- data.frame(matrix(ncol = ncol(res)))

out_index <- 1
for(row in 1:length(resid(lmfit))){
    if(resid(lmfit)[row]>upp_fence){
        OutlierUpperBoundary[out_index, ] <- res[row, ]
        out_index <- out_index + 1
    }
}

如果您的res表格很大，那么可能需要很长时间。在这种情况下，预分配完整矩阵将更快。然后你可以简单地删除最后的NA行。

OutlierUpperBoundary <- data.frame(matrix(ncol = ncol(res), nrow = nrow(res)))

out_index <- 1
for(row in 1:length(resid(lmfit))){
    if(resid(lmfit)[row]>upp_fence){
        OutlierUpperBoundary[out_index, ] <- res[row, ]
        out_index <- out_index + 1
    }
}

OutlierUpperBoundary <- OutlierUpperBoundary[complete.cases(OutlierUpperBoundary), ]

您可以在执行分配时将残差值与cbind()中的原始行相结合，将残差值添加到输出中。

OutlierUpperBoundary <- data.frame(matrix(ncol = ncol(res) + 1, nrow = nrow(res)))

out_index <- 1
for(row in 1:length(resid(lmfit))){
    if(resid(lmfit)[row]>upp_fence){
        OutliersUpperBoundary[out_index,] <- cbind(res[row,], resid(lmfit)[row])

        out_index <- out_index + 1
    }
}

OutlierUpperBoundary <- OutlierUpperBoundary[complete.cases(OutlierUpperBoundary), ]

从数据集R

1 个答案: