使用sk-learn模型进行大查询预测

Question

我在本地计算机上创建了一个sklearn模型。然后，我将其上传到了Google存储空间。我已经使用相同的模型在AI Platform中创建了模型和版本。它正在用于在线预测。现在，我想执行批量预测并将数据存储到大查询中，例如每次执行预测时都会更新大查询表。

有人可以建议我怎么做吗？

Answer 1

AI平台目前不支持将预测结果写入BigQuery。

您可以使用Dataflow将预测结果写入BigQuery。这里有两个选项：

1. 创建makes the predictions itself的数据流作业。
2. 创建使用AI平台获取模型预测的Dataflow作业。可能会使用在线预测。

在两种情况下，您都可以定义BigQuery接收器，以将新行插入到表中。

或者，只要有新文件出现在GCS中，就可以使用Cloud Functions更新BigQuery表。此解决方案如下所示：

1. 使用gcloud运行批量预测（`gcloud ml-engine作业提交预测... --output-path =“ gs：// [我的存储桶] / batch-predictions /”
2. 结果写在多个文件中：gs://[My Bucket]/batch-predictions/prediction.results-*-of-NNNNN
3. Cloud函数是triggered，用于分析结果并将其插入BigQuery。 This Medium post解释了如何进行设置