Question

如果我尝试运行下面的脚本，我会收到错误：LinAlgError: SVD did not converge in Linear Least Squares。我在类似的数据集上使用了完全相同的脚本，并且它可以工作。我试图在我的数据集中搜索Python可能解释为NaN但我找不到任何内容的值。

我的数据集很大，无法手动检查。（但我认为我的数据集很好）。我还检查了stageheight_masked和discharge_masked的长度，但它们是相同的。有谁知道为什么我的脚本中有错误，我该怎么办呢？

import numpy as np
import datetime
import matplotlib.dates
import matplotlib.pyplot as plt
from scipy import polyfit, polyval

kwargs = dict(delimiter = '\t',\
     skip_header = 0,\
     missing_values = 'NaN',\
     converters = {0:matplotlib.dates.strpdate2num('%d-%m-%Y %H:%M')},\
     dtype = float,\
     names = True,\
     )

rating_curve_Gillisstraat = np.genfromtxt('G:\Discharge_and_stageheight_Gillisstraat.txt',**kwargs)

discharge = rating_curve_Gillisstraat['discharge']   #change names of collumns
stageheight = rating_curve_Gillisstraat['stage'] - 131.258

#mask NaN
discharge_masked = np.ma.masked_array(discharge,mask=np.isnan(discharge)).compressed()
stageheight_masked = np.ma.masked_array(stageheight,mask=np.isnan(discharge)).compressed()

#sort
sort_ind = np.argsort(stageheight_masked)
stageheight_masked = stageheight_masked[sort_ind]
discharge_masked = discharge_masked[sort_ind]

#regression
a1,b1,c1 = polyfit(stageheight_masked, discharge_masked, 2)
discharge_predicted = polyval([a1,b1,c1],stageheight_masked)

print 'regression coefficients'
print (a1,b1,c1)

#create upper and lower uncertainty
upper = discharge_predicted*1.15
lower = discharge_predicted*0.85

#create scatterplot

plt.scatter(stageheight,discharge,color='b',label='Rating curve')
plt.plot(stageheight_masked,discharge_predicted,'r-',label='regression line')
plt.plot(stageheight_masked,upper,'r--',label='15% error')
plt.plot(stageheight_masked,lower,'r--')
plt.axhline(y=1.6,xmin=0,xmax=1,color='black',label='measuring range')
plt.title('Rating curve Catsop')
plt.ylabel('discharge')
plt.ylim(0,2)
plt.xlabel('stageheight[m]')
plt.legend(loc='upper left', title='Legend')
plt.grid(True)
plt.show()

Answer 1

我没有您的数据文件，但几乎总是这样的情况，当您收到该错误时，您的数据中有NaN或无穷大。使用pd.notnull或np.isfinite

查找这两个

Answer 2

正如ski_squaw提到的，大多数情况下该错误是由于NaN引起的，但是对我来说，此错误是在Windows更新之后发生的。我使用的是numpy版本1.16。将我的Numpy版本移至1.19.3解决了此问题。（在cmd中运行pip install numpy==1.19.3 --user）

这个gitHub问题进一步说明了这一点： https://github.com/numpy/numpy/issues/16744

Numpy 1.19.3在Linux上不起作用，而1.19.4在Windows上不起作用。

Answer 3

正如其他人指出的那样，问题可能是有些行没有数字可供算法使用。这是大多数回归的问题。

这就是问题所在。 解决方案 那么，就是为此做点什么。这取决于数据。通常，您可以用 0 替换 NaN，例如使用 Pandas .fillna(0)。有时，您可能需要插入缺失值，而 Pandas .interpolate() 也可能是最简单的解决方案。或者，当它不是时间序列时，您可以简单地删除其中包含 NaN 的行，例如使用 Pandas .dropna() 方法。或者，有时不是关于 NaN，而是关于 infs 或其他，然后还有其他解决方案：https://stackoverflow.com/a/55293137/12213843

究竟要走哪条路，取决于数据。由您来解释数据。领域知识对很好地解释数据大有帮助。

LinAlgError：在尝试polyfit时，SVD没有收敛于线性最小二乘

3 个答案: