TFRecords / TensorFlow服务：将TFRecords转换为（GRPC或RESTFul）TensorFlow服务请求吗？

Question

我有一堆用于训练模型的TFRecords。我也想将它们与TensorFlow Serving一起使用。到目前为止，我一直在使用RESTful TensorFlow服务端点，并将TFRecords转换为JSON请求正文。

是否有一些特殊的方法可以直接对TFRecord进行推理，而无需手动将单个TFRecord修改为TF服务请求？

Answer 1

TFRecords是二进制格式，很难直接通过RESTFul API传递。 替代方法是使用tf服务的GRPC端点。但这可能不会为您节省很多。

GRPC请求需要tensor_proto作为输入，在Python中为see here for an example call。在这种情况下，张量原型可能是一维数据，其中包含来自TFRecord的序列化tf.Example对象。在训练阶段保存模型时，可以定义自定义服务输入处理功能，该功能可以接受序列化的tf.Example数据作为服务输入。请参阅tf.estimator.Estimator.export_saved_model，以了解如何定义自定义函数serving_input_receiver_fn以便在投放时处理输入。