机器学习中的贝叶斯优化

时间:2017-03-02 18:14:39

标签: machine-learning

感谢您阅读本文。我目前正在研究bayesoptimization问题,并按照教程。请参阅附件。bayesian optimization tutorial

在第11页中,关于采集功能。在我提出问题之前,我需要陈述我对贝叶斯优化的理解,看看是否有任何错误。

首先,我们需要采取一些训练点,并将它们视为多变量高斯分布。然后我们需要使用acquisiont函数来找到我们想要采样的下一个点。因此,例如我们使用x1 .... x(t)作为训练点,然后我们需要使用获取函数来找到x(t + 1)并对其进行采样。然后我们假设x1 .... x(t),x(t + 1)作为多变量高斯分布,然后使用获取函数来找到x(t + 2)来进行采样,依此类推。   在第11页中,似乎我们需要找到最大改进概率的x。 f(x +)来自样本训练点(x1 ... xt)并且易于获得。但是如何在这里获得u(x)和那种差异?我不知道eqaution中的x是什么。它应该是x(t + 1),但论文并没有这么说。如果它确实是x(t + 1),那我怎么能得到它的u(x(t + 1))?你可以说在第8页底部使用方程,但我们可以在找到x(t + 1)并将其置于多变量高斯分布的条件下使用该方程。现在我们不知道下一个点x(t + 1)是什么,所以在我看来我没办法计算。   我知道这是一个棘手的问题。谢谢你回答!!

1 个答案:

答案 0 :(得分:0)

事实上我已经得到了答案。 实际上它是x(t + 1)。直接的方法是我们计算训练数据之外的其余x的每个u和varaince,并将其置于获取功能中以找出哪一个是最大值。 这很费时间。因此,我们使用像DIRECT这样的非线性优化来获得最大采集函数的x,而不是逐个尝试