我尝试使用MXNet的梯度下降优化器来最小化功能。 Tensorflow中的等效示例是:
import tensorflow as tf
x = tf.Variable(2, name='x', dtype=tf.float32)
log_x = tf.log(x)
log_x_squared = tf.square(log_x)
optimizer = tf.train.GradientDescentOptimizer(0.5)
train = optimizer.minimize(log_x_squared)
init = tf.initialize_all_variables()
def optimize():
with tf.Session() as session:
session.run(init)
print("starting at", "x:", session.run(x), "log(x)^2:", session.run(log_x_squared))
for step in range(10):
session.run(train)
print("step", step, "x:", session.run(x), "log(x)^2:", session.run(log_x_squared))
我不确定如何在MXNet中完成相同的操作。优化程序API documentation似乎没有等效方法。这是我到目前为止所尝试的内容。主要的困惑是需要传递培训数据:
import mxnet as mx
x = mx.sym.Variable('data')
log_x = mx.sym.log(x)
log_x_squared = mx.sym.square(log_x)
mod = mx.mod.Module(log_x_squared) # Create a module where the loss function
# is the one we want to optimize
mod.bind(data_shapes=[('data', (1,1))]) # ?? not sure if this is correct - we
# are saying our input is a scalar
mod.init_params()
mod.init_optimizer() # SGD is default
mod.fit() # ?? must pass data_iter to fit
似乎x
变量应该以某种方式反馈为data_iter
,但我不知道如何实现这一点。
更新:感谢kevinthesun的出色回答!这是一个建立在单个隐藏层神经网络之上的工作最小化例程:
import mxnet as mx
import numpy as np
def minimize(objective_function,
initial_params,
max_iters=1000,
optimizer='sgd',
optimizer_params=(('learning_rate', 0.1),),
tol=1e-8):
class InitialParam(mx.init.Initializer):
def __init__(self, vals):
super(InitialParam, self).__init__()
self._vals = vals
def _init_weight(self, _, arr):
arr[:] = self._vals.asnumpy()[:, np.newaxis]
x = mx.sym.Variable('data')
params_len = initial_params.shape[0]
fc = mx.sym.FullyConnected(data=x, name='fc1',
num_hidden=params_len,
no_bias=True)
# Passing the FullyConnected layer into the objective function
# is difficult to manipulate. If the fully connected layer represents
# [x, y] for optimizing a 2 dimensional function f(x, y) it is easier
# to work with x, and y. So we split the fully connected layer into a
# number of symbols for each parameter:
param_syms = []
for i in range(params_len):
ps = mx.sym.slice(fc, begin=(0, i), end=(1, i + 1))
param_syms.append(ps)
# The loss function for the network is our objective function.
loss = mx.sym.MakeLoss(objective_function(param_syms))
mod = mx.mod.Module(loss)
mod.bind(data_shapes=[('data', (1,))])
mod.init_params(InitialParam(initial_params))
mod.init_optimizer(optimizer=optimizer,
optimizer_params=optimizer_params)
(o_name, o_shape), = mod.output_shapes
i = 0
params = initial_params
old_val = np.full(o_shape, np.nan)
while i < max_iters:
mod.forward_backward(mx.io.DataBatch(
data=[mx.nd.ones((1,))]))
mod.update()
params = mod.get_params()[0]['fc1_weight']
val = mod.get_outputs()[0].asnumpy()
if np.allclose(old_val, val, atol=tol):
print 'Function value: {}'.format(val)
print 'Iterations: {}'.format(i)
return params
old_val = val
i += 1
return params
并使用它:
def my_func(x):
return (x[0] + 1) ** 2
p = minimize(my_func, mx.nd.array([1.0]))
p.asnumpy()
>>> array([[-0.99999988]], dtype=float32)
和另一个:
def my_func(x):
return (x[0] + 1) ** 2 + (x[1] - 2) ** 2 + (x[2] + 3) ** 2
p = minimize(my_func, mx.nd.array([1.0, 1.5, 2.0]))
p.asnumpy()
>>> array([[-0.99996436],
[ 1.99999106],
[-2.99991083]], dtype=float32)
答案 0 :(得分:4)
目前,使用MXNet优化简单功能并不像tensorflow那么容易,因为前端缺乏支持。
首先,您需要一个损失功能作为网络的最后一层。这是log_x_squared。使用MakeLoss创建损失函数。
其次是输入和权重。由于目前MXNet中的变量不计入可训练的重量,因此需要将x设置为重量。这是一个解决方法:设置一个'假的'输入变量,它总是为1.在它添加一个完全连接的图层后,它有一个隐藏单元,没有偏差。这给了我们“1 * x”。现在我们的x是一个重量。
第三,如果您想在单个数据样本上多次优化,module.fit可能不是最佳选择。初始化优化器后。您只需要多次调用module.forward_backward()和module.update()。对于forward_backward函数,您需要传递数据集,与数据服务器相比,这是一个更简单的接口。这里我们只需要每次都传递一个1的常量ndarray。
实际上我们构造了一个log(1 * x)^ 2的计算图,x变成了一个权重而不是变量。
无论如何,我们应该考虑提供类似的张量流接口来优化变量。
希望这是有用的信息!
答案 1 :(得分:0)
mxnet与tensorflow不同。您需要阅读此tutorial