受过训练的keras模型比预测训练要慢得多

Question

我一夜之间训练了一个keras模型，准确度达到75％，我现在很高兴。它有60,000个样本，每个样本的序列长度为700，词汇量为30.每个epoch在我的gpu上大约需要10分钟。因此，60,000 / 600秒，大约每秒100个样本，并且必须包括反向传播。所以我保存了我的hdf5文件并重新加载了它。

nil

当我进行预测时，每次预测花费的时间比1秒多，比训练慢100倍。预测很好，我看过小批量，我可以使用它们。问题是我需要10万多个。每个预测10毫秒可以工作，1秒赢了

有人能提出加速Keras预测的方法吗？

Answer 1

我认为这是因为Keras的默认预测行为是批处理大小为32。因此，尤其是在使用GPU的情况下，小批处理大小会破坏性能。如果仅将批处理大小更改为预测（X_test，batch_size = 128），您将获得更快的性能。