我正在使用http://archive.ics.uci.edu/ml/datasets/Auto+MPG
中的Auto MPG训练集我的代码是:
'use strict';
var brain, fs, normalizeData, trainNetwork, _;
_ = require('lodash');
brain = require('brain');
fs = require('fs');
trainNetwork = function(trainNetworkCb) {
var net;
net = new brain.NeuralNetwork();
return fs.readFile('./data/autodata.csv', function(err, fileData) {
var fileString, lines, trainingData;
if (err) {
return trainNetworkCb(err);
}
fileString = fileData.toString();
lines = fileString.split('\n');
trainingData = lines.splice(0, lines.length / 2);
trainingData = _.map(trainingData, function(dataPoint) {
var normalizedData, obj;
normalizedData = normalizeData(dataPoint);
obj = {
input: normalizedData,
output: {
continuous: normalizedData.continuous
}
};
delete obj.input.continuous;
return obj;
});
net.train(trainingData, {
log: true,
logPeriod: 100,
errorThresh: 0.00005
});
return trainNetworkCb(null, net);
});
};
trainNetwork(function(err, net) {
if (err) {
throw err;
}
return fs.readFile('./data/autodata.csv', function(err, fileData) {
var fileString, lines, testData;
if (err) {
return trainNetworkCb(err);
}
fileString = fileData.toString();
lines = fileString.split('\n');
testData = lines.splice(lines.length / 2);
testData = _.filter(testData, function(point) {
return point !== '';
});
testData = _.map(testData, function(dataPoint) {
var normalizedData, obj;
normalizedData = normalizeData(dataPoint);
obj = {
output: {
continuous: normalizedData.continuous
},
input: normalizedData
};
delete obj.input.continuous;
return obj;
});
return _.each(testData, function(dataPoint) {
var output;
output = net.run(dataPoint.input);
console.log(output);
console.log(dataPoint);
return console.log('');
});
});
});
normalizeData = function(dataRow) {
var cylinders, dataSet, model_years, origins, row;
dataSet = dataRow.split(',');
dataSet = _.map(dataSet, function(point) {
return Number(point);
});
row = {};
cylinders = [5, 3, 6, 4, 8];
_.each(cylinders, function(cylinder) {
row["cylinder" + cylinder] = cylinder === dataSet[0] ? 1 : 0;
});
row.displacement = dataSet[1] / 500;
row.horsepower = dataSet[2] / 500;
row.weight = dataSet[3] / 10000;
row.acceleration = dataSet[4] / 100;
model_years = [82, 81, 80, 79, 78, 77, 76, 75, 74, 73, 72, 71, 70];
_.each(model_years, function(model_year) {
row["model_year" + model_year] = model_year === dataSet[5] ? 1 : 0;
});
origins = [2, 3, 1];
_.each(origins, function(origin) {
row["origin" + origin] = origin === dataSet[6] ? 1 : 0;
});
row.continuous = dataSet[7] / 100;
return row;
};
我相信我正确地正常化了一切。我使用一半的数据进行培训,另一半用于测试。据我所知,数据没有订购,所以哪一半用于哪个不重要。
但是在测试时我的错误非常大。通常由10MPG左右(30%误差)。我做错了什么?
由于
答案 0 :(得分:4)
您链接的数据集按型号年份排序;或许技术的巨大变化使发动机更有效率?神经网络在训练期间依赖于正确的输出。我会尝试使用除最后一行之外的所有网络训练网络,然后使用它进行测试。你可以链接我你正在使用的csv文件吗? normalizeData函数无法通过链接文件(http://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data)提供您想要的内容
编辑:
似乎无论你指定的errorThresh
是什么,大脑都不会在训练中运行超过20,000次迭代。有几种方法可以解决这个问题。您可以指定神经网络的learningRate
。将learningRate提高到0.6(默认值为0.3)可以帮助我获得更准确的结果
net.train(trainingData, {
log: true,
logPeriod: 100,
errorThresh: 0.00005,
learningRate: 0.6
});
更高的learningRate
意味着更积极的体重调整,这有助于在您没有运行任意数量的迭代时。
或者,您可以在选项对象中指定迭代总量(如果未指定,则默认为20,000 - 请参阅here)。
net.train(trainingData, {
log: true,
logPeriod: 100,
errorThresh: 0.00005,
iterations: 100000
});
当i < iterations && error > errorThresh
评估为假时,大脑停止训练。因此,请随意调整迭代次数以确保上述表达式变为false,因为error
低于指定的errorTresh
(source)。