Question

我在神经网络上关注了Google code lab，我决定使用Cifar10数据集而不是MNIST数据集来制作一个简单的图像分类器，但由于某种原因，我的精度很低而且很高交叉熵。

训练后，准确度约为0.1（绝不超过0.2），交叉熵不低于230.

我的代码：

import tensorflow as tf
import numpy as np
import matplotlib as mpt
# Just disables the warning, doesn't enable AVX/FMA
import os
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'

def unpickle(file):
    import pickle
    with open(file, 'rb') as fo:
        dict = pickle.load(fo, encoding='bytes')
    return dict

def returnMiniBatch(dictionary,start,number):
    matrix=np.zeros([number,3072],dtype=np.int)
    labels=np.zeros([number],dtype=np.int)
    for i in range(0,number):
        matrix[i]=dictionary[b'data'][i+start]
        labels[i]=dictionary[b'labels'][i+start]
    return matrix,labels

def formatLabels(labels,number):
    lab=np.zeros([number,10])
    for i in range(0,number):
        lab[i][labels[i]]=1
    return lab

data='D:/cifar-10-python/cifar-10-batches-py/data_batch_1'
dictionary=unpickle(data)
tf.set_random_seed(0)

L = 200
M = 100
N = 60
O = 30


X=tf.placeholder(tf.float32,[None,3072])
Y_=tf.placeholder(tf.float32,[None,10])



W1 = tf.Variable(tf.truncated_normal([3072,L],stddev=0.1))
B1 = tf.Variable(tf.ones([L])/10)
W2 = tf.Variable(tf.truncated_normal([L, M], stddev=0.1))
B2 = tf.Variable(tf.ones([M])/10)
W3 = tf.Variable(tf.truncated_normal([M, N], stddev=0.1))
B3 = tf.Variable(tf.ones([N])/10)
W4 = tf.Variable(tf.truncated_normal([N, O], stddev=0.1))
B4 = tf.Variable(tf.ones([O])/10)
W5 = tf.Variable(tf.truncated_normal([O, 10], stddev=0.1))
B5 = tf.Variable(tf.ones([10]))

Y1 = tf.nn.relu(tf.matmul(X, W1) + B1)
Y2 = tf.nn.relu(tf.matmul(Y1, W2) + B2)
Y3 = tf.nn.relu(tf.matmul(Y2, W3) + B3)
Y4 = tf.nn.relu(tf.matmul(Y3, W4) + B4)


Ylogits = tf.matmul(Y4, W5) + B5
Y = tf.nn.softmax(Ylogits)

cross_entropy = tf.nn.softmax_cross_entropy_with_logits(logits=Ylogits,         
                labels=Y_)
cross_entropy = tf.reduce_mean(cross_entropy)*100

correct_prediction=tf.equal(tf.argmax(Y,1),tf.argmax(Y_,1))
accuracy=tf.reduce_mean(tf.cast(correct_prediction,tf.float32))

train_step = tf.train.AdamOptimizer(0.003).minimize(cross_entropy)

init=tf.global_variables_initializer()
sess=tf.Session()
sess.run(init)

def training_step(i):
    global dictionary
    val,lab=returnMiniBatch(dictionary,i * 100,100)
    Ylabels=formatLabels(lab,100)
    _,a,c = sess.run([train_step,accuracy, cross_entropy], feed_dict={X: 
                     val, Y_: Ylabels})
    print("Accuracy: ",a)
    print("Cross-Entropy",c)

for i in range (0,100):
    training_step(i%100)

Answer 1

如果我没弄错的话，那看起来就像是一个非卷积网络。您需要寻找卷积网络架构。所以使用conv2d寻找一些教程。

原因：MNIST是单通道二进制数据。 CIFAR是3通道（RGB），8位颜色。仅增加输入占位符的大小是不够的。您需要告诉网络三个通道（和相邻像素）是相关的。您可以使用卷积网络架构来实现此目的。

0.1表明并不比随机机会好。网络没有学到任何可以概括的东西。

Answer 2

解决方案是规范化输入数据。我添加了一个新函数来规范化数据

def formatData(values):
    ret = values.reshape(100,3072).astype("float32")
    ret/=255
    return ret

并在将数据添加到供稿词典之前格式化数据。

X_Data=formatData(val)
    _,a,c = sess.run([train_step,accuracy, cross_entropy], feed_dict={X: 
                     X_Data, Y_: Ylabels})

在这次改变之后，网络开始正常学习（卷积网络在Pam指针输出时仍然很多。）

使用Tensorflow的神经网络精度低

2 个答案: