Talos超参数搜索：如何在评估步骤中设置指标

Question

我想学习有关talos中超参数搜索的信息。特别是对模型的评估。我正在浏览这个示例笔记本 https://nbviewer.jupyter.org/github/autonomio/talos/blob/master/examples/Hyperparameter%20Optimization%20with%20Keras%20for%20the%20Iris%20Prediction.ipynb#seven

否，我的问题是：在评估（7）中，如何设置特定的评估指标？例如。分类问题的F1分数。它们来自Keras还是talos？如果未传递参数，默认值为什么？我在talos文档中找不到它。我是否忽略了某事？https://autonomio.github.io/docs_talos/#evaluate

Answer 1

Talos中的评估使用f1得分，其中二进制平均值用于二进制分类，宏平均值用于multi_label和multi_class，MAE用于回归。这些来自sklearn。

metric参数是指您在Scan()实验中已经使用的任何指标，用于首先选择要评估的最佳模型。您可以像使用Keras模型一样在Scan（）中使用任何Keras或自定义指标。