如何重用您的TFX转换以进行生产推理（流传输管道）？

Question

我想使用TFX建立训练管道，并最终重用我的数据转换以向TensorFlow-Serving提出推理请求，TFX应该能够做到这一点。 我发现的TFX示例似乎都建立了批处理训练管道并最终在TensorFlow-Serving中推送了模型，但它们没有解决推理部分，由于延迟原因，推理部分必须是流管道。我可能可以编写自己的工具来发出请求，但是如果不将我的Transform组件用于推理部分，这似乎是一种浪费。

我已经在本地运行了由TFX示例设置脚本在dags中安装的示例。气流UI清楚地表明它们是批处理管道。

Answer 1

TFX允许您在训练流水线中定义转换逻辑，并将该逻辑保存为结果模型图的一部分，这样您保存的模型将同时包含转换和常规模型，并且tf服务将能够接受转换前数据格式的请求，并进行适当的转换和模型推断，而无需进行任何其他工作。因此，从设计上讲，TFX不参与推理。