有没有一种方法可以使用mlfow从AWS Glue Job记录统计信息/工件?

时间:2019-05-13 17:07:16

标签: python-3.x amazon-web-services aws-glue mlflow

您能否让我知道当前mlflow版本中是否提供任何此类功能?

1 个答案:

答案 0 :(得分:0)

我认为这里的一般答案是,您可以使用mlflow_log_artifact()mlflow_set_tag()将实验中的任意数据和工件记录到MLflow跟踪服务器上,具体取决于您要执行的操作。如果有一个API可以从Glue中获取数据,并且您可以在MLflow运行期间获取它,则可以对其进行记录。编写csv,将.png保存到磁盘并记录该日志,或者在设置标签时声明一个变量并对其进行访问。

这适用于您从中获取响应的Glue或任何其他API。 MLflow的主要好处之一就是它是一个通用的框架,因此您可以跟踪对该特定实验重要的事情。

希望这会有所帮助!