自动化Google Cloud AutoML管道？

Question

我正在尝试使用Google AutoML自然语言来训练自定义文本多标签分类器。手动进行数据集创建，从Google Storage导入数据并训练模型。但是，我想使整个过程自动化。

我当前的方法如下：

1. 我已经创建了Google存储桶来存储带注释的数据
2. 我启动了Cloud Function来创建数据集，将数据导入到数据集中并训练模型。

但是，将数据导入数据集要花费9分钟以上的时间，这是Google Cloud Function的最大超时时间，并且永远无法达到训练模型阶段的目的。

解决方案之一是在完成数据导入以训练模型后，在触发条件触发后启动另一个Cloud Function。我检查了Google AutoML的文档，似乎没有办法实现。

还有其他方法可以实现吗？

非常感谢您的帮助。谢谢。

Answer 1

另一种实现此目标的方法是使用AppEngine。这种方法可以通过无服务器方式运行很长的过程。

• 使用您可以在端点上触发的代码部署AppEngine标准
• 设置一个Cloud Scheduler that trigger your appengine endpoint。将attemptDeadline设置为所需的最大超时时间（不能超过24H）
• 如果事件触发了触发器，则将一个函数插入事件，并使用dispatchDeadline创建一个Cloud Task on the endpoint to trigger，使其达到所需的最大超时时间（不能超过24H）