Hyperopt：定义依赖于其他参数的参数

Question

我正在使用python软件包hyperopt，并且我有一个参数a，该参数必须大于参数b。

例如，我希望我的参数空间像

space = {"b": hp.uniform(0, 0.5), "a": hp.uniform(b, 0.5)}

哪个要求a至少大于b，我该怎么做？

预先感谢

Answer 1

一个简单的选择是使用hyperopt的功能来嵌套参数。因此，您可以根据需要定义超参数空间：

space = hp.uniform("a", hp.uniform("b", 0, 0.5), 0.5)

仅将"a"的值传递给您优化的函数（因为这是超参数空间），但是hyperopt.fmin()将返回两个参数。

一个类似的选项，但是要优化的函数接收两个参数的地方是：

b_var = hp.uniform("b", 0, 0.5)
space = {"b": b_var, "a": hp.uniform("a", b_var, 0.5)}

最后，稍微改变一下优化函数的输入可能会更简单：参数a可以用a_fraction代替，介于0和1之间，并且在b和0.5之间进行内插（即a_fraction = 0产生a = b，而a_fraction = 1在要优化的修改函数内给出a = 0.5）。因此，参数空间具有通常的形式：

space = {"b": hp.uniform("b", 0, 0.5), "a_fraction": hp.uniform("a_fraction", 0, 1)}

https://github.com/hyperopt/hyperopt/issues/175#issuecomment-29401501上有一个有趣的讨论。

Answer 2

也许我的发现可以帮助某人。我使用 HyperOpt 来优化分段仿射函数的参数。 因此我需要嵌套参数来正确设置 x 参数部分：

由于嵌套参数（不再）对 HyperOpt 和 Optuna 不起作用...我向所有遇到相同问题的人推荐 pwlf library。

这个库提出了两种提取分段线性函数参数的方法：

• 通过提供零件数量
• 通过提供断点位置

如果您像我一样有兴趣找到断点位置，您可以提供零件数量：

import pwlf
import pandas as pd

data = pd.DataFrame.from_dict({
    "x": [0, 1, 2, 3, 4, 5, 6, 7, 8, 9],
    "y": [0, 4, 6, 7, 8, 9, 10, 7, 3, 1],
})

model = pwlf.PiecewiseLinFit(data.x, data.y)
nb_parts = 3
model.fit(nb_parts)

print(f"x part intersections: {model.fit_breaks}")
# x part intersections: [0. 1.99 6.00 9.]
print(f"linear coefficient of each part: {model.slopes}")
# linear coefficient of each part: [ 4.00,  1.00, -3.00]
print(f"linear bias of each part: {model.intercepts}")
# linear bias of each part: [-7.11e-06,  5.99e+00,  3.00e+01]

希望有帮助！