我正在使用nvidia gforce 1050 ti
我在keras中有一个可以正常工作的模型，没有出现内存分配错误 但是当我在张量流中运行更简单的模型时 我受到错误的打击， 查看错误：在此帖子中查找ERROR ==== 查看tf模型：找到TENSORFLOW === 查看keras模型：find KERAS ===
我不明白这一点，因为批量大小（128）相同 我有tensorflow-gpu（已安装pip） 那么keras为何运行得很好（使用更复杂的模型）而tensorflow却没有呢？
谢谢！
2019-10-04 11：45：58.450155：W tensorflow / core / common_runtime / bfc_allocator.cc：237]分配器（GPU_0_bfc）内存不足，试图使用freed_by_count = 0分配1.83GiB。调用方表明这不是失败，但是可能意味着如果有更多的可用内存，则可能会提高性能。 2019-10-04 11：45：58.450838：W tensorflow / core / common_runtime / bfc_allocator.cc：237]分配器（GPU_0_bfc）内存不足，试图分配带有freed_by_count = 0的2.84GiB。调用方表明这不是失败，但是可能意味着如果有更多的可用内存，则可能会提高性能。 2019-10-04 11：46：08.451808：W tensorflow / core / common_runtime / bfc_allocator.cc：314]分配器（GPU_0_bfc）内存不足，试图分配1.22GiB（四舍五入为1310720000）。当前分配摘要如下。 2019-10-04 11：46：08.452025：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（256）：总块数：33，正在使用的块数：33。8.3KiB分配给块。箱中正在使用8.3KiB。 bin中要求使用2.6KiB客户端。 2019-10-04 11：46：08.452239：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（512）：总块数：0，正在使用的块数：0。0B分配给块。箱中正在使用0B。客户端请求在bin中使用0B。 2019-10-04 11：46：08.452436：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（1024）：总块数：1，使用中的块数：1. 1.3KiB分配给块。 1.3KiB正在使用bin。在bin中要求使用1.0KiB客户端。 2019-10-04 11：46：08.452648：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（2048）：总块数：0，正在使用的块数：0。为块分配了0B。箱中正在使用0B。客户端请求在bin中使用0B。 2019-10-04 11：46：08.452854：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（4096）：总块数：9，正在使用的块数：9。44.0KiB分配给块。 bin中使用44.0KiB。在bin中要求使用44.0KiB客户端。 2019-10-04 11：46：08.453073：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（8192）：总块数：0，正在使用的块数：0。0B分配给块。箱中正在使用0B。客户端请求在bin中使用0B。 2019-10-04 11：46：08.453276：我tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（16384）：总块数：0，正在使用的块数：0。0B分配给块。箱中正在使用0B。客户端请求在bin中使用0B。 2019-10-04 11：46：08.453482：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（32768）：总块数：4，正在使用的块数：4。160.0KiB分配给块。仓中正在使用160.0KiB。在bin中要求使用160.0KiB客户端。 2019-10-04 11：46：08.453706：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（65536）：总块数：5，正在使用的块数：5。384.0KiB分配给块。 bin中使用了384.0KiB。 334.1KiB客户端请求在bin中使用。 2019-10-04 11：46：08.453934：I tensorflow / core / common_runtime / bfc_allocator.cc：764] Bin（131072）：总块数：4，正在使用的块数：4。512.0KiB分配给块。 bin中正在使用512.0KiB。要求bin中使用512.0KiB客户端。
tensorflow：
x = tf.placeholder(tf.float32,shape=[None,32,32,3])
y = tf.placeholder(dtype=tf.float32,shape=[None,CLASSES])
keep_prob = tf.placeholder(dtype=tf.float32)
config = tf.ConfigProto()
config.gpu_options.allow_growth = True
conv1c,rlu1c,max1 = createConvBlock(x,filters=32)
conv2c,rlu2c,max2 = createConvBlock(max1,filters=64)
conv3c,rlu3c,max3 = createConvBlock(max2,filters=128)
conv3c,rlu3c,max3 = createConvBlock(max3,filters=128)
flat = flatten(max3)
dropout = dense(flat,1024,True,keep_prob)
dw4,db4= dense(dropout,CLASSES)
y_hat = tf.matmul(dropout,dw4)+db4
cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=y,logits=y_hat))
train_step = tf.train.AdamOptimizer(learning_rate=0.001).minimize(cross_entropy)
BATCH = 128
class CifarHelper():
def __init__(self):
self.i = 0
(train_x, train_y), (test_x, test_y) = tf.keras.datasets.cifar10.load_data()
self.all_train_batches = train_x
self.test_batch = test_x
self.training_images = train_x / 255
self.training_labels = to_onehot(train_y,10)
self.test_images = test_x / 255
self.test_labels = to_onehot(test_y,10)
def next_batch(self, batch_size):
x = self.training_images[self.i:self.i + batch_size]
y = self.training_labels[self.i:self.i + batch_size]
self.i = (self.i + batch_size) % len(self.training_images)
return x, y
ch = CifarHelper()
with tf.Session(config=config) as sess:
sess.run(tf.global_variables_initializer())
for i in tqdm(range(EPOCHES)):
a,b = ch.next_batch(BATCH)
train_step.run(feed_dict={x: a,y :b,keep_prob: 1.0})
if i % 100 == 0:
matches = tf.equal(tf.argmax(y_hat, 1), tf.argmax(y, 1))
acc = tf.reduce_mean(tf.cast(matches, tf.float32))
test_acc[i//100] = sess.run(acc, feed_dict={x: ch.test_images, y: ch.test_labels, keep_prob: 1.0})
def createConvBlock(xinput,filters,stride = 1,withMaxPoll=True,pool_kernel=[1,2,2,1],pool_stride=[1,2,2,1]):
shape = [s.value for s in xinput.get_shape()]
shape = [3,3,shape[3],filters]
wtb = tf.truncated_normal(shape=shape, stddev=0.1)
w = tf.Variable(wtb)
b = tf.Variable(tf.constant(0.1, dtype=tf.float32, shape=[filters]))
conv = tf.nn.conv2d(xinput,w,strides=[1,stride,stride,1],padding='SAME')
rlu = tf.nn.relu(conv + b)
if withMaxPoll:
maxpool = tf.nn.max_pool2d(rlu,ksize=pool_kernel,strides=pool_stride,padding='SAME')
return conv,rlu,maxpool
return conv, rlu
def flatten(layer):
pooling_size = np.product([s.value for s in layer.get_shape()[1:]])
flat = tf.reshape(layer,shape=[-1,pooling_size])
print('flatt {}'.format(flat.get_shape()))
return flat
def dense(layer,filters,withDropouts = False,keep_prob = None):
shape = [s.value for s in layer.get_shape()[1:]] + [filters]
norm = np.product(shape)
w = tf.Variable(
tf.truncated_normal(shape=shape, stddev=0.1))
b = tf.Variable(tf.constant(0.1, dtype=tf.float32, shape=[filters]))
z = tf.nn.relu(tf.matmul(layer, w) + b)
if withDropouts:
dropout = tf.nn.dropout(z,keep_prob)
return dropout
return w,b
Keras：
batch_size = 128
num_classes = 10
epochs = 5
model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3),
activation='relu',
input_shape=input_shape))
model.add(LeakyReLU())
model.add(Conv2D(32,kernel_size=(3,3),padding='SAME'))
model.add(LeakyReLU())
model.add(Conv2D(32,kernel_size=(3,3),padding='SAME'))
model.add(LeakyReLU())
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(64, (3, 3),name='cnv',padding='SAME'))
model.add(LeakyReLU())
model.add(Conv2D(64, (3, 3),padding='SAME'))
model.add(LeakyReLU())
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Conv2D(128, (3, 3),padding='SAME'))
model.add(LeakyReLU())
model.add(Conv2D(128, (3, 3),padding='SAME'))
model.add(LeakyReLU())
model.add(MaxPooling2D(pool_size=(2, 2)))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(1024))
model.add(LeakyReLU())
model.add(Dropout(0.5))
model.add(Dense(num_classes, activation='softmax', name='preds'))
model.compile(loss=keras.losses.categorical_crossentropy,
optimizer=keras.optimizers.Adam(),
metrics=['accuracy'])
model.fit(x_train, y_train,
batch_size=batch_size,
epochs=epochs,
verbose=1,
validation_data=(x_test, y_test))