如何使用tf.image.draw_bounding_boxes在原始图像上绘制边框以显示在哪里检测到我的物体？

Question

我是Tensorflow的新手，到目前为止，我已经能够使用从Kaggle获得的花朵数据集的数据来构建分类器，并且已经能够训练CNN来识别向日葵和雏菊，并使用使用matplotlib.pyplot.figure（）调用标签。

现在，我想在原始图像本身上实际绘制一个边界框，以显示它在哪里检测到花朵。我阅读了有关tf.image.draw_bounding_boxes的信息，但我对如何使用它感到有些困惑，因为从技术上讲，CNN已经在对象上绘制了一个边界框以进行分类。有没有一种方法可以在该对象将源文件中的对象框起来后立即进入该操作并绘制一个较大的框？

这是我想做的一个例子。我想训练我的模型来识别向日葵，然后当我向向日葵展示图片时，我希望它找到向日葵在哪里，并在每个向日葵周围画一个边框。

这是我在本教程中使用的代码（假设前三行只是创建标签的基本函数，与该问题无关）

training_images = train_data_with_label()
testing_images = test_data_with_label()
TTest = test_new_data()

# Assign images and labels
tr_img_data = np.array([i[0] for i in training_images]).reshape(-1, 64, 64, 1)
tr_lbl_data = np.array([i[1] for i in training_images])
tst_img_data = np.array([i[0] for i in testing_images]).reshape(-1, 64, 64, 1)
tst_lbl_data = np.array([i[1] for i in testing_images])

model = Sequential()

model.add(InputLayer(input_shape=[64, 64, 1]))

model.add(Conv2D(filters=16, kernel_size=5, strides=1, padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=5, padding='same'))

model.add(Conv2D(filters=32, kernel_size=5, strides=1, padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=5, padding='same'))

model.add(Conv2D(filters=50, kernel_size=5, strides=1, padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=5, padding='same'))

model.add(Conv2D(filters=80, kernel_size=5, strides=1, padding='same', activation='relu'))
model.add(MaxPooling2D(pool_size=5, padding='same'))

model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(512, activation='relu'))
model.add(Dropout(rate=0.5))
model.add(Dense(classes, activation='softmax'))
optimizer = Adam(lr=1e-4)

model.compile(optimizer=optimizer, loss='categorical_crossentropy', metrics=['accuracy'])
model.fit(x=tr_img_data, y=tr_lbl_data, epochs=1000, batch_size=50)
model.summary()


# Save the model's weights
pth = 'S:/SavedWeights/Daisy_vs_Sunflower_vs_Tulip/weights.hdf5'
model.save_weights(pth, overwrite=True)
print("Weights saved!!!")


fig = plt.figure(figsize=(14, 14))

for cnt, data in enumerate(TTest[0:14]):

    y = fig.add_subplot(6, 5, cnt+1)
    img = data[0]
    data = img.reshape(1, 64, 64, 1)
    model_out = model.predict([data])

    if np.argmax(model_out) == 0:
        str_label = 'Daisy'
    elif np.argmax(model_out) == 1:
        str_label = 'Sunflower'
    else:
        str_label = 'Tulip'

    y.imshow(img, cmap='gray')
    plt.title(str_label)
    y.axes.get_xaxis().set_visible(False)
    y.axes.get_yaxis().set_visible(False)

plt.show()

我想找到一个例子，说明如何在这种教程代码上使用此库，然后拍摄任意图像，确定该图像中是否有向日葵，并在它们周围画一个框。

谢谢！

Answer 1

想通了！原来我使用的是错误的，我一直都在使用图像分类，而我应该研究的是对象检测。我阅读了tensorflow文档，并进行了对象检测，该对象绘制了边界框。