试图绘制一个简单的函数 - python

Question

我实现了一个简单的线性回归，我想通过拟合非线性模型来尝试它

具体而言，我试图为函数y = x^3 + 5拟合一个模型，例如

这是我的代码

import numpy as np
import numpy.matlib
import matplotlib.pyplot as plt

def predict(X,W):
    return np.dot(X,W)

def gradient(X, Y, W, regTerm=0):
    return (-np.dot(X.T, Y) + np.dot(np.dot(X.T,X),W))/(m*k) + regTerm * W /(n*k)

def cost(X, Y, W, regTerm=0):
    m, k = Y.shape
    n, k = W.shape
    Yhat = predict(X, W)
    return np.trace(np.dot(Y-Yhat,(Y-Yhat).T))/(2*m*k) + regTerm * np.trace(np.dot(W,W.T)) / (2*n*k)

def Rsquared(X, Y, W):
    m, k = Y.shape
    SSres = cost(X, Y, W)
    Ybar = np.mean(Y,axis=0)
    Ybar = np.matlib.repmat(Ybar, m, 1)
    SStot = np.trace(np.dot(Y-Ybar,(Y-Ybar).T))

    return 1-SSres/SStot

m = 10
n = 200
k = 1

trX = np.random.rand(m, n)
trX[:, 0] = 1

for i in range(2, n):
    trX[:, i] = trX[:, 1] ** i

trY = trX[:, 1] ** 3 + 5
trY = np.reshape(trY, (m, k))

W = np.random.rand(n, k)

numIter = 10000
learningRate = 0.5

for i in range(0, numIter):
    W = W - learningRate * gradient(trX, trY, W)

domain = np.linspace(0,1,100000)
powerDomain = np.copy(domain)
m = powerDomain.shape[0]
powerDomain = np.reshape(powerDomain, (m, 1))
powerDomain = np.matlib.repmat(powerDomain, 1, n)

for i in range(1, n):
    powerDomain[:, i] = powerDomain[:, 0] ** i

print(Rsquared(trX, trY, W))
plt.plot(trX[:, 1],trY,'o', domain, predict(powerDomain, W),'r')
plt.show()

我得到的R ^ 2非常接近1，这意味着我发现训练数据非常合适，但是没有在图上显示。当我绘制数据时，通常看起来像这样：

看起来好像我的数据不足，但是有了这样一个复杂的假设，有200个特征（意思是我允许多项式达到x ^ 200）和只有10个训练样例，我应该非常明显地过度拟合数据，所以我希望红线能够穿过所有的蓝点并在它们之间徘徊。

这不是我得到的，这让我感到困惑。 怎么了？

Answer 1

您忘了设置powerDomain[:,0]=1，这就是为什么您的情节在0出错了。是的，你过度拟合：看看你的训练领域出现后你的情节会多快加速。