存储在Bucket中的数据的在线预测

Question

根据我的理解，在线预测适用于json数据。目前我在本地主机上运行在线预测，其中每个图像都转换为json。 ML engin API使用localhost中的这个json进行预测。 内部ML引擎API可能已经将json上传到云进行预测。

有没有办法对已上传到云端桶的json文件进行在线预测？

Answer 1

在内部，我们直接从请求中的有效负载解析输入，而不是将请求存储在磁盘上。目前，在线预测不支持从云端读取输入。您可以考虑使用batch prediction从存储在云上的文件中读取数据。

对于接受仅一个字符串输入的模型，在线和批处理之间的输入存在小的差异（可能与您的情况类似）。在这种情况下，您必须对图像字节进行base64编码并将其放在JSON文件中进行在线预测，而对于批量预测，您需要将图像字节打包成TFRecords格式的记录并将其另存为tfrecord文件。除此之外，输入是兼容的。