Question

只是一点背景：我正在尝试在Cifar-10数据集上实现3层神经网络（1个隐藏层）进行图像分类。我已经实现了反向传播，并且最初尝试使用梯度下降训练网络，但我的成本大约在40左右（这有效地按照相同的猜测速度对新图像进行分类;几乎没有意义）。

然后我尝试使用scipy.optimize.fmin_cg功能训练网络。我将展开的权重传递给函数，我的反向传播函数为渐变返回相同大小的向量，满足函数的输入要求。

我对该函数的实现如下所示：

scipy.optimize.fmin_cg(cost, iw, fprime=fit_slim)

fit和fit_slim功能如下：

def fit(X, Y, w, l, predict=False, x=None):
    w_grad = ([np.mat(np.zeros(np.shape(w[i]))) 
              for i in range(len(w))])
    for i in range(len(X)):
        x = x if predict else X[i]
        y = Y[i]
        # forward propagate
        a = x
        a_s = []
        for j in range(len(w)):
            a = np.mat(np.append(1, a)).T
            a_s.append(a)
            z = w[j] * a
            a = sigmoid(z)
        if predict: return a
        # backpropagate
        delta = a - y.T
        w_grad[-1] += delta * a_s[-1].T
        for j in reversed(range(1, len(w))):
            delta = delta[1:] if j != len(w)-1 else delta
            delta = np.multiply(w[j].T*delta, s_prime(a_s[j]))
            w_grad[j-1] += (delta[1:] * a_s[j-1].T)
    # regularization
    for i in range(len(w)):
        w_grad[i] /= len(X)
        w_grad[i][:,1:] += (l/len(X)) * w[i][:,1:]
    return flatten(w_grad).T

def fit_slim(iw):
    iw = shape_back(iw)
    return fit(X, Y, iw, l)

cost函数是：

def cost(iw):
    J = 0
    m = len(X)
    iw = shape_back(iw)
    for i in range(m):
        h = fit(X, Y, iw, l, True, X[i])
        J += ((1.0/m)*(np.sum((np.multiply(-Y[i],np.log(h))-
              np.multiply((1-Y[i]),np.log(1-h))).flatten())))
    for i in range(len(w)):
        J += np.sum(((l/(2.0*m))*np.power(w[i],2)).flatten())
    return J

iw变量是展开长矢量的权重，而shape_back函数只是将iw重新整形为原始矩阵形状，以便在fit中使用cost函数。

我面临的第一个问题是我的fit函数需要永远运行一次迭代。永远，我的意思是大约一分钟，这似乎很慢。然而，正如我所提到的那样，我已经让它一直运行到成本稳定在40左右，这仍然是一个非常高的成本。也就是说，实现替代优化技术对我来说似乎是合理的，我确定了fmin_cg函数。

当我运行它时，我收到以下错误：

  File "image_net.py", line 143, in <module>
    print scipy.optimize.fmin_cg(cost, iw, fprime=fit_slim, maxiter=2,  callback=callback)
  File "/Users/samgriesemer/anaconda/lib/python2.7/site-packages/scipy/optimize/optimize.py", line 1092, in fmin_cg
    res = _minimize_cg(f, x0, args, fprime, callback=callback, **opts)
  File "/Users/samgriesemer/anaconda/lib/python2.7/site-packages/scipy/optimize/optimize.py", line 1156, in _minimize_cg
    deltak = numpy.dot(gfk, gfk)
ValueError: shapes (616610,1) and (616610,1) not aligned: 1 (dim 1) != 616610 (dim 0)

在我看来，该函数试图采用相同向量的点积，这对我没有任何意义。

所以回顾一下我的问题，我有两个问题。

1）我能做些什么来更好地优化我的fit功能？我的数据集有10,000个例子，所以我知道循环所有这些都需要时间，但它不明白为什么，即使经过多次迭代，我的成本仍然非常高。

2）运行fmin_cg功能时为什么会收到错误？我传递给函数的参数是相同大小的向量。我不明白为什么它会尝试在函数中使用相同大小的矢量的点积。

非常感谢任何能够解释这些问题/误解的人。

Answer 1

在我看来，该函数试图采用相同向量的点积，这对我没有任何意义。

这不是numpy.dot的工作原理。问题正是错误消息所说的：它试图执行矩阵乘法并因为尺寸不匹配而失败。

请注意，对于可以认为是“一维”的数组，numpy区分形状(n,)，(n, 1)和(1, n)：只有第一个是一个numpy的-dimensional ，它的不被解释为行或列向量。

>>> a = np.ones(3)      # a 1D array
>>> np.dot(a, a)
3.0
>>> b = a.reshape(-1, 1)   # a column vector
>>> b
array([[ 1.],
       [ 1.],
       [ 1.]])
>>> np.dot(b, b)           # column times column, fails
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ValueError: shapes (3,1) and (3,1) not aligned: 1 (dim 1) != 3 (dim 0)
>>> np.dot(b, b.T)        # column times row, i.e. an outer product
array([[ 1.,  1.,  1.],
       [ 1.,  1.,  1.],
       [ 1.,  1.,  1.]])
>>> np.dot(b.T, b)        # row times column, but notice the dimensions
array([[ 3.]])

神经网络优化失败（使用Scipy fmin_cg）

1 个答案: