Question

我正在使用hyperopt调整我的ML模型，但是在使用qloguniform作为搜索空间时遇到了麻烦。我以official wiki为例，并更改了搜索空间。

import pickle
import time
#utf8
import pandas as pd
import numpy as np
from hyperopt import fmin, tpe, hp, STATUS_OK, Trials

def objective(x):
    return {
        'loss': x ** 2,
        'status': STATUS_OK,
        # -- store other results like this
        'eval_time': time.time(),
        'other_stuff': {'type': None, 'value': [0, 1, 2]},
        # -- attachments are handled differently
        'attachments':
            {'time_module': pickle.dumps(time.time)}
        }
trials = Trials()
best = fmin(objective,
    space=hp.qloguniform('x', np.log(0.001), np.log(0.1), np.log(0.001)),
    algo=tpe.suggest,
    max_evals=100,
    trials=trials)
pd.DataFrame(trials.trials)

但是出现以下错误。

ValueError：（''argarg to lognormal_cdf'，array（[-3.45387764， -3.45387764，-3.45387764，-3.45387764，-3.45387764， -3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764， -3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764， -3.45387764，-3.45387764，-3.45387764，-3.45387764，-3.45387764， -3.45387764，-3.45387764，-3.45387764，-3.45387764]））

我尝试了如下不进行对数变换的方法，但是输出值竟然是log transformation（例如1.017,1.0008,1.02456），这是错误的。它与文档一致。

hp.qloguniform('x', 0.001,0.1, 0.001)

谢谢

Answer 1

问题似乎出在hp.qloguniform，q的最后一个论点以及tpe.suggest如何使用它的问题上。

首先让我们讨论一下q。根据文档：
hp.qloguniform （标签，低，高，q）
```
round(exp(uniform(low, high)) / q) * q 
```
适用于目标是的离散变量 “平滑”并随着值的大小变得更平滑，但是应该同时位于上方和下方。
q这是一个"quantizer"，它将把已定义空间的输出限制为q的倍数。例如，以下是qloguniform内部发生的事情：
```
from hyperopt import pyll, hp
n_samples = 10

space = hp.loguniform('x', np.log(0.001), np.log(0.1))
evaluated = [pyll.stochastic.sample(space) for _ in range(n_samples)]
# Output: [0.04645754, 0.0083128 , 0.04931957, 0.09468335, 0.00660693,
#          0.00282584, 0.01877195, 0.02958924, 0.00568617, 0.00102252]

q = 0.005
qevaluated = np.round(np.array(evaluated)/q) * q
# Output: [0.045, 0.01 , 0.05 , 0.095, 0.005, 0.005, 0.02 , 0.03 , 0.005, 0.])
```
在此处比较evaluated和qevaluated。 qevaluated是q的倍数，或者我们说它以q的“间隔”（或步长）量化。您可以尝试更改q的值以了解更多信息。

您在问题中定义的q与生成的样本范围（0.001 to 0.1）相比非常大：
```
np.log(0.001)
# Output: -6.907755278982137
```
因此，这里所有值的输出将为0。
```
q = np.log(0.001)
qevaluated = np.round(np.array(evaluated)/q) * q
# Output: [0., 0., 0., 0., 0., 0., 0., 0., 0., 0.]
```
现在进入tpe.suggest（this paper的第4节）：TPE使用不同估计量的树来优化搜索过程，在此过程中，TPE会根据的生成器划分搜索空间空格（在这种情况下为qloguniform）。有关详情，请参见code here。要将空间分成多个部分，将使用q。

但是由于您空间中的所有点均为0.0（如上所述），因此负数q会为lognormal_cdf which is not acceptable生成无效边界，因此会产生错误。

长话短说，您对q的使用不正确。正如您在评论中已经说过的：-

根据q
，也不应该在对数均匀/对数普通随机采样中使用round(exp(uniform(low, high)) / q) * q值

因此，您应仅提供q的值，该值对您所需的空间有效。因此，在这里，由于您要生成0.001和0.1之间的值，因此q的值应与它们相当。

我同意您在np.log(0.001)内提供np.log(0.1)和qloguniform，但这是为了使输出值在0.001到0.1之间。因此，请勿在{{1}}中使用np.log。 q应该根据生成的值使用。

Hyperopt中的qloguniform搜索空间设置问题

1 个答案: