什么是一些方法或常用方法来判断无监督学习算法是否正确

时间:2017-02-05 22:14:55

标签: algorithm machine-learning verification unsupervised-learning

我知道无监督学习的美丽,神秘和复杂性的一部分是它从人类可以弄清楚的大量数据中提取信息。但是,有没有办法知道算法是否正确。例如,假设它正在查看股票趋势,并对某个股票做出一些推论。没有真正看到它如何发挥作用,有没有办法知道它是对的?它训练过的数据可能是错误的,或者更重要的是,你的算法可能只是得出了错误的结论。显然存在诸如损失之类的数学测量,但是目前我们是否只能忍受算法可能错误的事实?我们可以通过哪些方法来衡量无监督学习算法的正确性(或者“正确”只是一个雄心勃勃的术语)?

1 个答案:

答案 0 :(得分:1)

简而言之:

  

如果没有真正看到它如何发挥作用,有没有办法知道它是对的?

没有。如果有,那么你甚至不需要原始算法。只需进行随机预测,并使用你的神谕来判断他们是否正确。

  

它训练过的数据可能是错误的

ML算法基于数据学习。如果它错了,他们就会学错。如果你只被告知1 + 1 = 3,你有任何理由质疑它吗?

  

更重要的是,您的算法可能只是得出了错误的结论

如果数据支持则没有结论错误。它可能不是您之后的那个(请参阅https://www.jefftk.com/p/detecting-tanks),在这种情况下,您应该获得更好地描述您所追求的内容的数据。

  

但目前我们是否只需要接受算法错误的事实?

是的,我们可能永远都会。人类对某事总是正确的吗?在适当的情况下,你可能错了很基本的东西。而且我们比现有的AI聪明得多。

  

我们可以通过哪些方法衡量无监督学习算法的正确程度(或者是#34;正确的#34;只是一个雄心勃勃的术语)?

非常雄心勃勃。如果您对您尝试解决的问题做得足够好,可以手动检查结果。如果你想将图像分类为狗和猫,这对你作为一个人来判断可能很简单。应用算法并手动检查一些预测,以了解它的效果。

如果你想拥有能够很好地发挥Go的东西,那就挑战世界冠军。

这取决于问题。