归一化VS. numpy方式规范化？

Question

我应该规范化一个数组。我已经阅读了关于规范化的内容并且遇到了一个公式：

我为它编写了以下函数：

def normalize_list(list):
    max_value = max(list)
    min_value = min(list)
    for i in range(0, len(list)):
        list[i] = (list[i] - min_value) / (max_value - min_value)

这应该规范化元素数组。

然后我遇到了这个：https://stackoverflow.com/a/21031303/6209399 这说明你可以通过简单地对数组进行规范化：

def normalize_list_numpy(list):
    normalized_list = list / np.linalg.norm(list)
    return normalized_list

如果我用自己的函数和numpy方法规范化这个测试数组test_array = [1, 2, 3, 4, 5, 6, 7, 8, 9]，我会得到以下答案：

My own function: [0.0, 0.125, 0.25, 0.375, 0.5, 0.625, 0.75, 0.875, 1.0]
The numpy way: [0.059234887775909233, 0.11846977555181847, 0.17770466332772769, 0.23693955110363693, 0.29617443887954614, 0.35540932665545538, 0.41464421443136462, 0.47387910220727386, 0.5331139899831830

为什么功能会给出不同的答案？还有其他方法来规范化数据数组吗？ numpy.linalg.norm(list)做了什么？我有什么问题？

Answer 1

有不同类型的规范化。您正在使用min-max规范化。来自scikit learn的min-max规范化如下。

import numpy as np
from sklearn.preprocessing import minmax_scale

# your function
def normalize_list(list_normal):
    max_value = max(list_normal)
    min_value = min(list_normal)
    for i in range(len(list_normal)):
        list_normal[i] = (list_normal[i] - min_value) / (max_value - min_value)
    return list_normal

#Scikit learn version 
def normalize_list_numpy(list_numpy):
    normalized_list = minmax_scale(list_numpy)
    return normalized_list

test_array = [1, 2, 3, 4, 5, 6, 7, 8, 9]
test_array_numpy = np.array(test_array)

print(normalize_list(test_array))
print(normalize_list_numpy(test_array_numpy))

输出：

[0.0, 0.125, 0.25, 0.375, 0.5, 0.625, 0.75, 0.875, 1.0]    
[0.0, 0.125, 0.25, 0.375, 0.5, 0.625, 0.75, 0.875, 1.0]

MinMaxscaler完全使用您的公式进行标准化/缩放： http://scikit-learn.org/stable/modules/generated/sklearn.preprocessing.minmax_scale.html

@OuuGiii：注意：使用Python内置函数名作为varibale名称不是一个好主意。 list()是Python内置函数，因此应避免将其用作变量。

Answer 2

您引用的问题/答案并未明确将您自己的公式与此处使用的np.linalg.norm(list)版本相关联。

一个NumPy解决方案就是：

import numpy as np
def normalize(x):
    x = np.asarray(x)
    return (x - x.min()) / (np.ptp(x))

print(normalize(test_array))    
# [ 0.     0.125  0.25   0.375  0.5    0.625  0.75   0.875  1.   ]

此处np.ptp是峰峰值，即

  

沿轴的值范围（最大值 - 最小值）。

这种方法将值缩放到@phg指出的区间[0,1]。

更为传统的规范化定义是缩放到0均值和单位方差：

x = np.asarray(test_array)
res = (x - x.mean()) / x.std()
print(res.mean(), res.std())
# 0.0 1.0

或使用sklearn.preprocessing.normalize作为预先设定的功能。

使用test_array / np.linalg.norm(test_array)创建一个单位长度的结果;你会看到np.linalg.norm(test_array / np.linalg.norm(test_array))等于1.所以你在这里谈论两个不同的领域，一个是统计数据，另一个是线性代数。

Answer 3

python的强大之处在于它的broadcasting属性，它使您可以进行向量化数组操作而无需显式循环。因此，您不需要为循环使用显式编写函数，这很慢且耗时，尤其是在您的数据集太大的情况下。

min-max normalization的Python方式是

test_array = np.array([1, 2, 3, 4, 5, 6, 7, 8, 9])
normalized_test_array = (test_array - min(test_array)) / (max(test_array) - min(test_array)) 

  

输出>> [0.，0.125，0.25，0.375，0.5，0.625，0.75，0.875，1]。