Question

我有一个简单的数据集，其中有2列日期/温度。

我需要一些方法来找到异常值： 1.在温度栏中 2.仅保留一些相邻的值

仅检测邻近值的离群值的最佳方法是什么？

我尝试编码IQR，均值/中位数偏差等，但是它们会修剪出更多的值。我尝试一次将这些方法应用于10个值，但最终发现的异常值超出我的预期。

另外，我最终需要用标准python对其进行编码，因此对此的任何提示将很有用。

下面是我的DataChecker类中计算IQR并使用它检查异常值的函数。

class DataChecker:
    class DateTemperature:
        def __init__(self, input_date, temperature):
            try:
                day, month, year = input_date.split('/')
                self._temperature_date = date(int(year), int(month), int(day))
            except ValueError:
                # Don't tolerate invalid date
                raise #TODO change to custom error 

            try:
                self._temperature = float(temperature)
            except (TypeError, ValueError):
                self._temperature = 0

        @property
        def date(self):
            return self._temperature_date.strftime('%d/%m/%Y')

        @property
        def temperature(self):
            return self._temperature

    def __init__(self, input_date_temperature_values):
        self._date_temperature_values = []
        for date, temperature in input_date_temperature_values:
            try:
                self._date_temperature_values.append(self.DateTemperature(date, temperature))
            except ValueError:
                pass

        self._date_temperature_values.sort(key=lambda x:x.date)

        self._outlier_low, self._outlier_high = self._calculate_outlier_thresholds(self._date_temperature_values)

    def _is_value_outlier(self, temperature):
        if temperature < self._outlier_low or temperature > self._outlier_high:
            return True
        return False

    def _calculate_outlier_thresholds(self, data_temperature_values):
        temperature_values = sorted([dataTemperature.temperature for dataTemperature in data_temperature_values])
        median_index = len(temperature_values) // 2
        first_quartile = median(temperature_values[:median_index])
        third_quartile = median(temperature_values[median_index+1:])

        iqr = (third_quartile - first_quartile)

        # Tried with 1.5, 1.2, 2 etc
        low_iqr = first_quartile - 1.2*iqr
        high_iqr = third_quartile + 1.2*iqr

        # Trying mean/median deviation
        #mean_value = statistics.median(temperature_values)
        #std_dev = statistics.pstdev(temperature_values)
        #print(f'{mean_value} : {std_dev}')
        #low_iqr = mean_value - 2*std_dev
        #high_iqr = mean_value + 2*std_dev


        #print(low_iqr, ':', high_iqr)
        return low_iqr, high_iqr

谢谢！

Answer 1

标准偏差：标准偏差是一种用于量化一组数据值的偏差或离散量的度量。

平均值：平均值是采样值的总和除以项目数。

import numpy as np

def removeOutlier(data):
  data = np.array(data)
  mean = np.mean(data, axis=0)
  std = np.std(data, axis=0)
  final_list = [x for x in data if (x > mean - 2 * std)]
  final_list = [x for x in final_list if (x < mean + 2 * std)]
  return final_list

您可以选择相邻点并将其放在列表中，然后通过此功能将获得离群值自由列表。

如何使用标准python检测单变量数据的“邻近值之间”的异常值

1 个答案: