Question

我很难确定numpy polyfit中协方差矩阵的标度。

在documentation中，我看到从未缩放到缩放后的协方差矩阵的缩放因子是

chi2 / sqrt(N - DOF).

在下面的代码中，似乎比例因子实际上是

chi2 / DOF

这是我的代码

# Generate synthetically the data
# True parameters
import numpy as np

true_slope = 3
true_intercept = 7

x_data = np.linspace(-5, 5, 30)

# The y-data will have a noise term, to simulate imperfect observations
sigma = 1
y_data = true_slope * np.linspace(-5, 5, 30) + true_intercept
y_obs = y_data + np.random.normal(loc=0.0, scale=sigma, size=x_data.size)

# Here I generate artificially some unequal uncertainties 
# (even if there is no reason for them to be so)
y_uncertainties = sigma * np.random.normal(loc=1.0, scale=0.5*sigma, size=x_data.size)

# Make the fit
popt, pcov = np.polyfit(x_data, y_obs, 1, w=1/y_uncertainties, cov='unscaled')
popt, pcov_scaled = np.polyfit(x_data, y_obs, 1, w=1/y_uncertainties, cov=True)

my_scale_factor = np.sum((y_obs - popt[0] * x_data  - popt[1])**2 / y_uncertainties**2)\
                         / (len(y_obs)-2)

scale_factor =  pcov_scaled[0,0] / pcov[0,0]

如果运行代码，则会看到实际的比例因子是chi2 / DOF，而不是文档中报告的值。这是真的还是我缺少什么？

我还有一个问题。在不确定性呈正态分布的情况下，为什么建议仅使用y数据误差的反函数而不是y数据误差的反函数的平方呢？

编辑以添加通过一系列代码生成的数据

x_data = array([-5.        , -4.65517241, -4.31034483, -3.96551724, -3.62068966,
   -3.27586207, -2.93103448, -2.5862069 , -2.24137931, -1.89655172,
   -1.55172414, -1.20689655, -0.86206897, -0.51724138, -0.17241379,
    0.17241379,  0.51724138,  0.86206897,  1.20689655,  1.55172414,
    1.89655172,  2.24137931,  2.5862069 ,  2.93103448,  3.27586207,
    3.62068966,  3.96551724,  4.31034483,  4.65517241,  5.        ])

y_obs = array([-7.27819725, -8.41939411, -3.9089926 , -5.24622589, -3.78747379,
   -1.92898727, -1.375255  , -1.84388812, -0.37092441,  0.27572306,
    2.57470918,  3.860485  ,  4.62580789,  5.34147103,  6.68231985,
    7.38242258,  8.28346559,  9.46008873, 10.69300274, 12.46051285,
   13.35049975, 13.28279961, 14.31604781, 16.8226239 , 16.81708308,
   18.64342284, 19.37375515, 19.6714002 , 20.13700708, 22.72327533])

y_uncertainties = array([ 0.63543112,  1.07608924,  0.83603265, -0.03442888, -0.07049299,
    1.30864191,  1.36015322,  1.42125414,  1.04099854,  1.20556608,
    0.43749964,  1.635056  ,  1.00627014,  0.40512511,  1.19638787,
    1.26230966,  0.68253139,  0.98055035,  1.01512232,  1.83910276,
    0.96763007,  0.57373151,  1.69358475,  0.62068133,  0.70030971,
    0.34648312,  1.85234844,  1.18687269,  1.23841579,  1.19741206])

利用这些数据，我获得了scale_factor = 1.6534129347542432，my_scale_factor = 1.653412934754234以及文档中报告的“标称”比例因子，即

nominal_scale_factor = np.sum((y_obs - popt[0] * x_data  - popt[1])**2 /\  
                               y_uncertainties**2) / np.sqrt(len(y_obs) - len(y_obs) + 2)

具有值nominal_scale_factor = 32.73590595145554

PS。我的numpy版本是 1.18.5 3.7.7 (default, May 6 2020, 11:45:54) [MSC v.1916 64 bit (AMD64)]

Answer 1

关于numpy.polyfit文档：

默认情况下，协方差是按chi2 / sqrt（N-dof）进行缩放的，即除相对意义外，权重被假定为不可靠的，并且所有内容都进行缩放以使减少的chi2统一。

这看起来像是一个文档错误。协方差的正确缩放比例为chi_square/(N-M)，其中M是拟合参数的数量，N-M是自由度的数量。 np.polyfit和my_scale_factor是一致的，看来scale_factor的实现正确。

关于为什么不“ y数据误差的平方反”的问题：多项式拟合或更笼统地说，最小二乘拟合涉及求解p向量in

A @ p = y

其中A是(N, M)中N和y元素中M数据点以及{{ 1}}是在相应的p值下评估的多项式项。

解决方案最小化

通过计算，最便宜的计算方法是将x中的每一行和每个(SUM_j A[i, j] p[j] - y[i])^2 SUM ----------------------------- i sigma_y[i]^2值乘以相应的A，然后对{ {1}}等式。通过让用户提供反误差，它可以使拟合例程免于处理除零问题和缓慢的平方根运算。

Answer 2

关于第一部分，我打开了一个Github问题

https://github.com/numpy/numpy/issues/16842

该线程的结论是文档错误，但是该功能行为正确。

文档应更新为

默认情况下，协方差按 chi2 / dof 进行缩放，即，权重假定是相对可靠的，除非相对而言，并且所有内容都按比例缩放，以使减少的chi2统一。 >

numpy polyfit：协方差矩阵的缩放比例是否可能存在误差？

2 个答案: