使用keras CNN进行实时预测

Question

我使用Keras创建了CNN模型。我将模型保存在yaml文件中，并将权重保存在HDF5文件中。现在，我想使用此模型来预测给定图像的类别。所以我做了一个经典的Keras预测，但是每个预测需要15毫秒。 这个问题的目的是要知道什么是减少预测时间并使之成为实时预测的最佳方法。

15ms预测代码：

test_datagen = ImageDataGenerator(rescale=1./255)
predict_set = test_datagen.flow_from_directory(
        'Folder\\classes',
        target_size=(128, 128),
        batch_size=1
        )

# load YAML and create model
yaml_file = open('model_test.yaml', 'r')
loaded_model_yaml = yaml_file.read()
yaml_file.close()
classifier2 = model_from_yaml(loaded_model_yaml)
# load weights into new model
classifier2.load_weights("model_test.h5")
print("Loaded model from disk")


predict_set.reset()
pred=classifier2.predict_generator(predict_set,steps=len(predict_set),verbose=1)
predicted_class_indices=np.argmax(pred,axis=1)