云作曲家+云ml引擎教程?

时间:2018-08-26 14:09:29

标签: airflow google-cloud-composer

我找不到有关云ML引擎+气流的教程,请有人帮助部署云ml引擎模型并编排气流以每小时进行一次有关新数据的培训

3 个答案:

答案 0 :(得分:2)

答案 1 :(得分:1)

您可以使用可用的Composer快速入门here和Airflow ML Engine操作员文档here来安排ML Engine作业。在MLEngine上训练作业时,将在GCS上创建模型包,或者甚至可以手动创建。如果您打算进行超参数优化,那么您的软件包将需要包含here所述的setup.py。

以下是虹膜scikit模型(reference here)-的DAG示例

td

答案 2 :(得分:0)

作为对可能在2020年6月之后使用的人员的更新,除上述资源外,这两个PR还包括示例DAG的更新和这些运营商的指南。我认为它们尚未在文档中更新,但是一旦更新,我将尝试更新

  1. https://github.com/apache/airflow/pull/9727
  2. https://github.com/apache/airflow/pull/9798/files?short_path=b8207cb#diff-b8207cb1601efda85d3cbcf0087a6347