我知道k-NN是一种分类方案，对于要分类的每个点，采用k个最近的邻居，然后使用一定距离，并使用多数投票对点进行分类。
是否存在类似的回归算法，其中只有一个类，即A类。您在A类的要素空间中拥有一些（不是全部）点的数据集。要计算特征空间中新点的概率在A类中，您查看的是A类那个点的距离k内的密度？
答案 0 :(得分：1)
我认为您要的是probability density estimation。您想要使用对A类中的点的观察来经验地构建概率密度函数，然后使用该PDF来预测新点在A类中的概率。
有许多方法可以实现此目的，最简单的方法是将数据建模为高斯或mixture of Gaussians。在单个高斯模型的情况下，您只需计算数据集的均值和方差即可对高斯进行参数化。假设高斯模型非常适合您的数据集，如果不是，则存在more sophisticated methods，例如制作直方图或使用不同的分布。
但是，如果您只想对一个点是否属于某个类进行分类，那么估计密度可能会过大。您可以使用任何众多的分类算法（随机森林，SVM，逻辑回归，神经网络等）中的任何一种，它们不会告诉您有关数据的基础分布的任何信息，而只是给您一个分类器。