删除数组中极端异常值的算法

Question

我在D3图表中使用了一个用于x轴的数组，并且由于图表大小对于数组的大小而言太小，它会爆炸。我查看了数据，数据中存在极端异常值。见下图。

0附近的数据（不完全为零，其为0.00972等）。

数据在70左右开始变得有趣，然后是大约100的大量尖峰。然后数据继续，然后在另一边大约200的相同类型的东西。

任何人都可以帮我解决一些消除极端异常值的算法吗？例如给我95％或90％的百分位并删除连续的元素（例如，不只是中间的一个元素，而是从数组的开头和数组的末尾开始的x个元素，其中x取决于找出最佳的位置它基于数据？在Javascript中也请！

谢谢！

ps你需要保存图像才能正确查看

Answer 1

假设数据类似

var data[] = {0.00972, 70, 70, ...};

首先排序

data.sort(function(a,b){return a-b});

然后取下2.5％的底部和2.5％的顶部

var l = data.length;
var low = Math.round(l * 0.025);
var high = l - low;
var data2 = data.slice(low,high);

另一种方法是仅显示平均值的3个标准偏差内的数据。如果数据是正态分布的，则99.7％将落在此范围内。

var sum=0;     // stores sum of elements
var sumsq = 0; // stores sum of squares
for(var i=0;i<data.length;++i) {
    sum+=data[i];
    sumsq+=data[i]*data[i];
}
var mean = sum/l; 
var varience = sumsq / l - mean*mean;
var sd = Math.sqrt(varience);
var data3 = new Array(); // uses for data which is 3 standard deviations from the mean
for(var i=0;i<data.length;++i) {
    if(data[i]> mean - 3 *sd && data[i] < mean + 3 *sd)
        data3.push(data[i]);
}

或类似使用Inter-quartile范围的某些倍数

var median = data[Math.round(l/2)];
var LQ = data[Math.round(l/4)];
var UQ = data[Math.round(3*l/4)];
var IQR = UQ-LQ;
var data4 = new Array();
for(var i=0;i<data.length;++i) {
    if(data[i]> median - 2 * IQR && data[i] < mean + 2 * IQR)
        data4.push(data[i]);
}