具有连续值的特征的特征选择算法POE1ACC

Question

我想实现＆＃34;误差概率和平均相关系数＆＃34;的算法。 （更多信息Page 143。它是一种从一组特征中选择未使用的特征的算法。据我所知，这个算法不仅限于布尔值特征，但我不知道如何将它用于连续特征。

这是我能找到的关于这个算法的唯一例子：

因此，X是预测特征，C是任何特征。为了计算C的误差概率值，他们选择与绿色部分不匹配的值。因此，C的PoE是（1-7 / 9）+（1-6 / 7）= 3/16 = 1875。

我的问题是：我们如何使用连续特征代替布尔特征（如本例中）来计算PoE？还是不可能？

Answer 1

您描述的算法是一种特征选择算法，类似于前向选择技术。在每个步骤中，我们都会找到一个新功能Fi，可以最大限度地降低此标准：

weight_1 * ErrorProbability(Fi) + weight_2 * Acc(Fi)

ACC（Fi）表示功能Fi与已选择的其他功能之间的平均相关性。您希望最小化这一点，以使所有功能不相关，从而具有良好的条件问题。

ErrorProbability（Fi）表示功能是否正确描述了您要预测的变量。例如，假设您想要根据温度（连续特征）预测tommorow是否会下雨

贝叶斯错误率为（http://en.wikipedia.org/wiki/Bayes_error_rate）：

P = Sum_Ci { Integral_xeHi { P(x|Ci)*P(Ci) } }

在我们的例子中

• Ci属于{rainy;不下雨}

• x是温度的实例

• 嗨代表可能导致Ci预测的所有温度。

有趣的是，您可以选择任何您喜欢的预测器。

现在，假设你在一个向量中有所有温度，所有状态在另一个向量中下雨/不下雨：

为了得到P（x | Rainy），请考虑以下值：

temperaturesWhenRainy <- temperatures[which(state=='rainy')]

接下来应该做的是绘制这些值的直方图。然后你应该尝试在它上面放一个分布。你将得到P（x | Rainy）的参数公式。

如果你的发行是高斯分布，你可以简单地做到：

m <- mean(temperaturesWhenRainy)
s <- sd(temperaturesWhenRainy)

给定一些x值，你有P（x | Rainy）的概率密度：

p <- dnorm(x, mean = m, sd = s)

您可以对P（x | Not Rainy）执行相同的操作。然后P（Rainy）和P（Not Rainy）很容易计算。

一旦掌握了所有这些内容，就可以使用贝叶斯错误率公式，从而产生连续特征的ErrorProbability。

干杯