ML分类 - 决策边界算法

时间:2018-02-24 05:24:28

标签: machine-learning classification

鉴于机器学习中的分类问题,假设如下所述。

hθ(x)=g(θ'x)
z = θ'x
g(z) = 1 / (1+e^−z)

为了得到离散的0或1分类,我们可以将假设函数的输出翻译如下:

hθ(x)≥0.5→y=1
hθ(x)<0.5→y=0

我们的逻辑函数g的行为方式是当其输入大于或等于零时,其输出大于或等于0.5:

g(z)≥0.5
whenz≥0

记住。

z=0,e0=1⇒g(z)=1/2
z→∞,e−∞→0⇒g(z)=1
z→−∞,e∞→∞⇒g(z)=0

因此,如果我们对g的输入是θTX,那么这意味着:

hθ(x)=g(θTx)≥0.5
whenθTx≥0

从这些陈述我们现在可以说:

θ'x≥0⇒y=1
θ'x<0⇒y=0

如果决策边界是分隔y = 0和y = 1的区域的线,并且由我们的假设函数创建:

这与决策边界有什么关系?或者决策边界算法来自何处?

2 个答案:

答案 0 :(得分:1)

这是具有阈值的基本逻辑回归。所以你的theta' * x只是你的权重向量的向量符号乘以你的输入。如果将其放入逻辑函数中,该函数仅输出0到1之间的值,则将该值阈值设置为0.5。因此,如果它与此相等且高于此值,则您将其视为正样本,否则将其视为否定样本。

分类算法就是这么简单。训练有点复杂,其目标是找到一个权重向量theta,它满足正确分类所有标记数据的条件......或者至少尽可能多。这样做的方法是最小化成本函数,该函数测量函数输出和预期标签之间的差异。你可以使用梯度下降来做到这一点。我想,Andrew Ng正在教这个。

修改:您的分类算法为g(theta'x)>=0.5g(theta'x)<0.5,因此是一个基本步骤函数。

答案 1 :(得分:0)

由其他技术论坛上的其他海报提供。

求解theta'* x&gt; = 0并且θ'* x <0给出决策边界。不等式的RHS(即0)来自sigmoid函数。

Theta为您提供了最适合训练集的假设。

从theta,你可以计算决策边界 - 它是点的轨迹,其中(X * theta)= 0,或者相当于g(X * theta)= 0.5。