为什么KNN比决策树快得多?

时间:2013-03-15 09:01:26

标签: algorithm machine-learning decision-tree knn

在接受采访时,我遇到了雇主提出的问题。他问我为什么KNN分类器比决策树快得多,例如在字母识别或人脸识别中?

那时我完全不知道。所以我想知道在哪些术语中我应该比较速度性能中的两种分类方法?感谢。

1 个答案:

答案 0 :(得分:6)

考虑以下数据集:N个样本,每个样本都有k个属性。一般来说 :
1.天真KNN:O(1)[训练时间] + O(NK)[查询时间] = O(NK)
2.天真决策树:O(N ^ 2 * K * log(N))[训练时间] + O(log(N))[查询时间] = O(N ^ 2 * K) - 也用于查询时间,我们假设树是平衡的。
为了计算复杂性,我考虑了每个分类器的非常简单的实现。实施KNN和决策树的改进已经很少了。