Question

我最近完成了exercise 3 of Andrew Ng's Machine Learning on Coursera using Python。

当最初完成练习的1.4到1.4.1部分时，我遇到了困难，确保我训练的模型的准确度与预期的94.9％相符。即使在调试并确保我的成本和梯度函数没有错误，并且我的预测器代码工作正常之后，我的准确率仍然只有90.3％。我在scipy.optimize.minimize中使用了共轭梯度（CG）算法。

出于好奇，我决定尝试另一种算法，并使用Broyden-Fletcher-Goldfarb-Shannon（BFGS）。令我惊讶的是，准确度大幅提高到96.5％，因此超出了预期。 CG和BFGS之间这两种不同结果的比较可以在我的notebook下查看由于不同的优化算法而在标题差异下。

由于优化算法的选择不同，导致精度差异的原因是什么？如果是，那么有人可以解释原因吗？

此外，我非常感谢对我的代码进行任何审核，以确保我的任何功能中都没有导致此问题的错误。我还怀疑可能存在导致此问题的错误。

谢谢。

编辑：下面我添加了问题中涉及的代码，让所有人都可以更轻松地帮助我，而无需参考我的Jupyter笔记本。

模型成本函数：

def sigmoid(z):
    return 1 / (1 + np.exp(-z))

def compute_cost_regularized(theta, X, y, lda):
    reg =lda/(2*len(y)) * np.sum(theta[1:]**2) 
    return 1/len(y) * np.sum(-y @ np.log(sigmoid(X@theta)) 
                             - (1-y) @ np.log(1-sigmoid(X@theta))) + reg

def compute_gradient_regularized(theta, X, y, lda):
    gradient = np.zeros(len(theta))
    XT = X.T
    beta = sigmoid(X@theta) - y
    regterm = lda/len(y) * theta
    # theta_0 does not get regularized, so a 0 is substituted in its place
    regterm[0] = 0 
    gradient = (1/len(y) * XT@beta).T + regterm
    return gradient

实现一对一分类培训的功能：

from scipy.optimize import minimize

def train_one_vs_all(X, y, opt_method):
    theta_all = np.zeros((y.max()-y.min()+1, X.shape[1]))
    for k in range(y.min(),y.max()+1):
        grdtruth = np.where(y==k, 1,0)
        results = minimize(compute_cost_regularized, theta_all[k-1,:], 
                           args = (X,grdtruth,0.1),
                           method = opt_method, 
                           jac = compute_gradient_regularized)
        # optimized parameters are accessible through the x attribute
        theta_optimized = results.x
        # Assign thetheta_optimized vector to the appropriate row in the 
        # theta_all matrix
        theta_all[k-1,:] = theta_optimized
    return theta_all

调用函数来使用不同的优化方法训练模型：

theta_all_optimized_cg = train_one_vs_all(X_bias, y, 'CG')  # Optimization performed using Conjugate Gradient
theta_all_optimized_bfgs = train_one_vs_all(X_bias, y, 'BFGS') # optimization performed using Broyden–Fletcher–Goldfarb–Shanno

我们看到预测结果因使用的算法而异：

def predict_one_vs_all(X, theta):
    return np.mean(np.argmax(sigmoid(X@theta.T), axis=1)+1 == y)*100

In[16]: predict_one_vs_all(X_bias, theta_all_optimized_cg)
Out[16]: 90.319999999999993

In[17]: predict_one_vs_all(X_bias, theta_all_optimized_bfgs)
Out[17]: 96.480000000000004

对于想要获取任何数据来尝试代码的人，他们可以在我的Github中找到它，如本帖所述。

Coursera ML - 优化算法的选择是否会影响多类逻辑回归的准确性？

0 个答案: