我finetuning在Caffe上的图像数据集上使用Tesla K40 batch size=47。使用solver_type=SGD，base_lr=0.001，lr_policy="step"，momentum=0.9，gamma=0.1，training loss，test accuracy减少2%-50%在100次迭代中从RMSPROP开始，非常好。
使用其他优化工具（例如ADAM，ADADELTA和training loss时，test accuracy在1000之后RMSPROP几乎保持不变1}}迭代。
对于ADAM，我更改了here所提及的相应参数。
对于ADADELTA，我更改了here
对于var cluster = require('cluster');
var numCPUs = require('os').cpus().length;
if (cluster.isMaster) {
// Fork workers.
for (var i = 0; i < numCPUs; i++) {
cluster.fork();
}
Object.keys(cluster.workers).forEach(function(id) {
console.log("I am running with ID : " + cluster.workers[id].process.pid);
});
cluster.on('exit', function(worker, code, signal) {
console.log('worker ' + worker.process.pid + ' died');
});
} else {
//Do further processing.
}
，我更改了here
有人可以告诉我我做错了吗？
答案 0 :(得分：2)
我看到了与pir类似的结果：当给予与SGD相同的base_lr时，Adam会分歧。当我将base_lr减少到其原始值的1/100时，Adam突然收敛，并且给出了很好的结果。