我在R中运行LOESS回归,并且遇到了一些较小数据集的警告。
警告讯息:
1:在simpleLoess中(y,x,w,span,degree = degree,parametric = 参数,:伪逆在-2703.9
使用2:在simpleLoess中(y,x,w,span,degree = degree,parametric = 参数,:邻域半径796.09
3:在simpleLoess中(y,x,w,span,degree = degree,parametric = 参数,:倒数条件数0
4:在simpleLoess中(y,x,w,span,degree = degree,parametric = 参数,:还有其他近似奇点。 6.1623e + 005
这些错误在另一篇文章中讨论: Understanding loess errors in R。
似乎这些警告与LOESS回归的范围设置有关。我正在尝试应用与其他数据集完成的类似方法,其中可接受的平滑跨度的参数在0.3和0.6之间。在某些情况下,我可以调整跨度以避免这些问题,但在其他数据集中,跨度必须增加到超出可接受的水平以避免错误/警告。
我很好奇这些警告的含义是什么,以及这是否可以使用回归的情况,但是应该注意这些警告是否发生,或者回归是否完全无效。
以下是有问题的数据集的示例:
Period Value Total1 Total2
-2950 0.104938272 32.4 3.4
-2715 0.054347826 46 2.5
-2715 0.128378378 37 4.75
-2715 0.188679245 39.75 7.5
-3500 0.245014245 39 9.555555556
-3500 0.163120567 105.75 17.25
-3500 0.086956522 28.75 2.5
-4350 0.171038825 31.76666667 5.433333333
-3650 0.143798024 30.36666667 4.366666667
-4350 0.235588972 26.6 6.266666667
-3500 0.228840125 79.75 18.25
-4933 0.154931973 70 10.8452381
-4350 0.021428571 35 0.75
-3500 0.0625 28 1.75
-2715 0.160714286 28 4.5
-2715 0.110047847 52.25 5.75
-3500 0.176923077 32.5 5.75
-3500 0.226277372 34.25 7.75
-2715 0.132625995 188.5 25
这是没有换行符的数据
Period Value Total1 Total2
-2950 0.104938272 32.4 3.4
-2715 0.054347826 46 2.5
-2715 0.128378378 37 4.75
-2715 0.188679245 39.75 7.5
-3500 0.245014245 39 9.555555556
-3500 0.163120567 105.75 17.25
-3500 0.086956522 28.75 2.5
-4350 0.171038825 31.76666667 5.433333333
-3650 0.143798024 30.36666667 4.366666667
-4350 0.235588972 26.6 6.266666667
-3500 0.228840125 79.75 18.25
-4933 0.154931973 70 10.8452381
-4350 0.021428571 35 0.75
-3500 0.0625 28 1.75
-2715 0.160714286 28 4.5
-2715 0.110047847 52.25 5.75
-3500 0.176923077 32.5 5.75
-3500 0.226277372 34.25 7.75
-2715 0.132625995 188.5 25
以下是我正在使用的代码:
Analysis <- read.csv(file.choose(), header = T)
plot(Value ~ Period, Analysis)
a <- order(Analysis$Period)
Analysis.lo <- loess(Value ~ Period, Analysis, weights = Total1)
pred <- predict(Analysis.lo, se = TRUE)
lines(Analysis$Period[a], pred$fit[a], col="red", lwd=3)
lines(Analysis$Period[a], pred$fit[a] - qt(0.975, pred$df)*pred$se[a],lty=2)
lines(Analysis$Period[a], pred$fit[a] + qt(0.975,pred$df)*pred$se[a],lty=2)
感谢您的帮助,如果有任何其他信息,请告诉我。
答案 0 :(得分:3)
发出警告是因为loess
的算法发现了数值上的困难,因为Period
有一些值会重复相对较多次,因为您可以从中看到情节以及:
table(Analysis$Period)
在这方面,Period
实际上表现为离散变量(因子),而不是连续变量,因为正确平滑所需。添加一些抖动会删除警告:
Analysis <- read.table(header = T,text="Period Value Total1 Total2
-2950 0.104938272 32.4 3.4
-2715 0.054347826 46 2.5
-2715 0.128378378 37 4.75
-2715 0.188679245 39.75 7.5
-3500 0.245014245 39 9.555555556
-3500 0.163120567 105.75 17.25
-3500 0.086956522 28.75 2.5
-4350 0.171038825 31.76666667 5.433333333
-3650 0.143798024 30.36666667 4.366666667
-4350 0.235588972 26.6 6.266666667
-3500 0.228840125 79.75 18.25
-4933 0.154931973 70 10.8452381
-4350 0.021428571 35 0.75
-3500 0.0625 28 1.75
-2715 0.160714286 28 4.5
-2715 0.110047847 52.25 5.75
-3500 0.176923077 32.5 5.75
-3500 0.226277372 34.25 7.75
-2715 0.132625995 188.5 25")
table(Analysis$Period)
Analysis$Period <- jitter(Analysis$Period, factor=0.2)
plot(Value ~ Period, Analysis)
a <- order(Analysis$Period)
Analysis.lo <- loess(Value ~ Period, Analysis, weights = Total1)
pred <- predict(Analysis.lo, se = TRUE)
lines(Analysis$Period[a], pred$fit[a], col="red", lwd=3)
lines(Analysis$Period[a], pred$fit[a] - qt(0.975, pred$df)*pred$se[a],lty=2)
lines(Analysis$Period[a], pred$fit[a] + qt(0.975,pred$df)*pred$se[a],lty=2)
增加span
参数会沿着Period
轴“挤出”重叠值的堆积;对于小数据集,您需要进行大量压缩以弥补重复Period
s的堆积。
从实际的角度来看,我通常会在检查图形输出后仍然相信回归。但我绝对不会增加span
来实现压缩:为此目的使用少量jitter
会好得多; span
应由其他注意事项决定,例如Period
数据的总体传播等。