当损失函数是均方误差时,如何定义准确度?是mean absolute percentage error吗?
我使用的模型具有输出激活线性,并使用loss= mean_squared_error
model.add(Dense(1))
model.add(Activation('linear')) # number
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])
,输出如下:
Epoch 99/100
1000/1000 [==============================] - 687s 687ms/step - loss: 0.0463 - acc: 0.9689 - val_loss: 3.7303 - val_acc: 0.3250
Epoch 100/100
1000/1000 [==============================] - 688s 688ms/step - loss: 0.0424 - acc: 0.9740 - val_loss: 3.4221 - val_acc: 0.3701
那么例如val_acc:0.3250是什么意思? Mean_squared_error应该是标量而不是百分比 - 不应该吗?那么val_acc - 均方误差,或平均百分误差或其他函数?
根据维基百科上的MSE定义:https://en.wikipedia.org/wiki/Mean_squared_error
MSE衡量估算器的质量 - 它总是如此 非负的,接近零的值更好。
这是否意味着val_acc: 0.0
的值优于val_acc: 0.325
?
编辑:我训练时精确度量输出的更多示例 - 随着我训练更多,精度会增加。虽然损失函数 - mse应该减少。是否为mse定义了准确度 - 它是如何在Keras中定义的?
lAllocator: After 14014 get requests, put_count=14032 evicted_count=1000 eviction_rate=0.0712657 and unsatisfied allocation rate=0.071714
1000/1000 [==============================] - 453s 453ms/step - loss: 17.4875 - acc: 0.1443 - val_loss: 98.0973 - val_acc: 0.0333
Epoch 2/100
1000/1000 [==============================] - 443s 443ms/step - loss: 6.6793 - acc: 0.1973 - val_loss: 11.9101 - val_acc: 0.1500
Epoch 3/100
1000/1000 [==============================] - 444s 444ms/step - loss: 6.3867 - acc: 0.1980 - val_loss: 6.8647 - val_acc: 0.1667
Epoch 4/100
1000/1000 [==============================] - 445s 445ms/step - loss: 5.4062 - acc: 0.2255 - val_loss: 5.6029 - val_acc: 0.1600
Epoch 5/100
783/1000 [======================>.......] - ETA: 1:36 - loss: 5.0148 - acc: 0.2306
答案 0 :(得分:13)
您的问题至少有两个问题。
第一个应该从马蒂亚斯的评论和其他答案中清楚地看出:在回归问题中,如你的,准确性不有意义;另请参阅patyork在this Keras thread中的评论。无论好坏,事实是Keras不会“保护”您或任何其他用户在您的代码中放置无意义的请求,即您不会收到任何错误,甚至是警告,您正在尝试执行某些操作没有意义,例如在回归设置中请求准确性。
澄清之后,另一个问题是:
由于Keras确实返回了“准确度”,即使在回归设置中,究竟是什么以及如何计算?
为了阐明这一点,让我们回到一个公共数据集(因为你没有提供有关你的数据的任何细节),即Boston house price dataset(本地保存为housing.csv
),并运行一个简单的实验如下:
import numpy as np
import pandas
import keras
from keras.models import Sequential
from keras.layers import Dense
# load dataset
dataframe = pandas.read_csv("housing.csv", delim_whitespace=True, header=None)
dataset = dataframe.values
# split into input (X) and output (Y) variables
X = dataset[:,0:13]
Y = dataset[:,13]
model = Sequential()
model.add(Dense(13, input_dim=13, kernel_initializer='normal', activation='relu'))
model.add(Dense(1, kernel_initializer='normal'))
# Compile model asking for accuracy, too:
model.compile(loss='mean_squared_error', optimizer='adam', metrics=['accuracy'])
model.fit(X, Y,
batch_size=5,
epochs=100,
verbose=1)
与您的情况一样,模型拟合历史(此处未显示)显示减少的损失,并且精度大致增加。现在让我们使用适当的Keras内置函数评估同一训练集中的模型性能:
score = model.evaluate(X, Y, verbose=0)
score
# [16.863721372581754, 0.013833992168483997]
score
数组的确切内容取决于我们在模型编译期间确切要求的内容;在我们的例子中,第一个元素是损失(MSE),第二个元素是“准确度”。
此时,让我们看一下metrics.py
file中Keras binary_accuracy
的定义:
def binary_accuracy(y_true, y_pred):
return K.mean(K.equal(y_true, K.round(y_pred)), axis=-1)
因此,在Keras生成预测y_pred
之后,它首先对它们进行舍入,然后在获得平均值之前检查它们中有多少等于真实标签y_true
。
让我们使用普通的Python&复制这个操作。在我们的案例中是Numpy代码,其中真正的标签是Y
:
y_pred = model.predict(X)
l = len(Y)
acc = sum([np.round(y_pred[i])==Y[i] for i in range(l)])/l
acc
# array([0.01383399])
好吧,宾果游戏!这实际上与上面的score[1]
返回的值相同......
长话短说:既然你(错误地)在你的模型编辑中请求metrics=['accuracy']
,Keras会do its best to satisfy you,并且会返回一些“精确度”,如上所示计算,尽管如此在你的环境中毫无意义。
有很多设置,Keras在引擎盖下执行相当无意义的操作,而不向用户提供任何提示或警告;我碰巧遇到的其中两个是:
在多级设置中,当loss='binary_crossentropy'
请求categorical_crossentropy
(而不是metrics=['accuracy']
)时,会给出无意义的结果 - 请参阅{{3 }}和Keras binary_crossentropy vs categorical_crossentropy performance?
在请求辍学率为1.0的极端情况下,完全禁用Dropout - 请参阅Why is binary_crossentropy more accurate than categorical_crossentropy for multiclass classification in Keras?
答案 1 :(得分:5)
损失函数(本例中为均方误差)用于表示预测偏离目标值的距离。在训练阶段,权重会根据此数量进行更新。如果您正在处理分类问题,则定义称为准确性的其他度量标准是很常见的。它监视预测正确类别的情况。这表示为百分比值。因此,值0.0表示没有正确的决定,1.0表示只有正确的决定。 当您的网络正在训练时,损失正在减少,通常准确度会提高。
请注意,与损失相比,通常不会使用准确性来更新网络参数。它有助于监控学习进度和网络当前的性能。
答案 2 :(得分:1)
@desertnaut已经说得非常清楚了
考虑以下两段代码
def binary_accuracy(y_true, y_pred):
return K.mean(K.equal(y_true, K.round(y_pred)), axis=-1)
你的标签应该是整数,因为keras不会围绕 y_true ,你会得到很高的准确度.......