Question

我在Q-learning中使用Boltzman探索，每个州至少有10个动作。我知道只有两个动作，Boltzman探索可以很简单地应用如下：

使用Boltzman勘探方程计算两个动作的pr1和pr2。
生成随机数 r
假设pr1＆gt; pr2。如果r <= pr1，则采取对应于概率pr1的动作。如果r> pr1，则采取与pr2相对应的动作。

但是，我怎么能用10个动作做到这一点？在每个决策步骤，我更新所有操作的概率。这给了我最佳行动概率最高的所有行动的概率分布。在这种情况下如何使用Boltzman探测选择动作？

Answer 1

可能有更好的方法可以做到，但主要的想法是：

def weighted_choice(weights):
    r = uniform(0, sum(weights))
    for i, weight in enumerate(weights):
        r -= weight
        if(r < 0):
            return i

其中权重是pr1，pr2，..的列表，返回值是获胜行动的索引

Answer 2

以下是对加权随机抽样的精彩讨论：Darts, Dice, and Coins。

这是我对Vose Alias方法的实现：

class WeightedRandom
{
    private alias : array[int];
    private prob  : array[double];

    private random : Random;

    public this(p : array[double], random : Random)
    {
        this.random = random;

        def n = p.Length;

        alias = array(n);
        prob  = array(n);

        def small = Queue(n);
        def large = Queue(n);

        def p = p.Map(_ * n : double);

        foreach (x in p with i)
            (if (x < 1.0) small else large).Enqueue(i);

        while (!small.IsEmpty && !large.IsEmpty)
        {
            def s = small.Dequeue();
            def l = large.Dequeue();
            prob[s]  = p[s];
            alias[s] = l;
            p[l] = p[l] + p[s] - 1;
            (if (p[l] < 1.0) small else large).Enqueue(l);
        }

        while (!large.IsEmpty)
            prob[large.Dequeue()] = 1.0;

        while (!small.IsEmpty)
            prob[small.Dequeue()] = 1.0;
    }

    public NextIndex() : int
    {
        def i = random.Next(prob.Length);
        if (random.NextDouble() < prob[i])
            i;
        else
            alias[i];
    }
}

Boltzmann在Q学习中进行了两次以上的探索

2 个答案: