我可以推断出数百万张图像。我知道如何编写自己的代码来创建批次，并使用MxNet Module API将批次转发到经过训练的网络，以便获得预测。但是，创建批处理会导致很多数据操作，而这些数据没有经过特别优化。
在我自己进行任何优化之前，我想知道是否存在一些建议的批预测/推论方法。更具体地说，由于这是一个常见的用例，所以我想知道是否存在一个接口/ api，可以在经过训练的模型（例如，符号文件和纪元检查点）下进行常规的图像预处理，批处理创建和推断？ / p>
答案 0 :(得分：1)
如果您使用的是标准的预训练模型，强烈建议您看一下gluoncv project-一种基于Apache MXNet的计算机视觉工具包。
它们具有最先进的模型实现，有时甚至超过了科学论文中发表的原始结果。很酷的是，它们还提供了数据预处理代码-据我了解，这就是您所需要的。 （请参阅gluoncv.data.transforms.presets软件包）。
我不知道要进行哪种推断，例如图像分类，分割等，但是请看一下list of tutorials，很可能会找到所需的推断。
除此之外，要优化快速挂钟时间，还需要确保100％使用了GPU。您可能会发现观看this video有助于了解有关优化性能的提示和技巧的更多信息。它讨论了训练，但是相同的技术也适用于推理。