神经网络能否根据训练集中不存在的模式预测结果

时间:2016-08-19 11:49:39

标签: neural-network artificial-intelligence

这听起来像是一个开放式问题,我提前道歉。我知道神经网络可以根据训练数据集中的模式预测结果。神经网络能否根据其未观察到的模式预测结果。如果没有,那么应该使用什么样的算法来处理这样的问题。

2 个答案:

答案 0 :(得分:1)

大多数神经网络应用程序在监督学习的基础上运行,这意味着该算法会得到有关其性能的反馈。该算法使用反馈来调整网络权重。这种调整最常见的机制是反向传播,但还有其他机制。

训练集与训练信号。

您的问题提到了训练集。然而,神经网络需要反馈这一事实并不一定意味着存在训练集,这只是一种选择。有时,有时可以直接从网络运行的环境中感知反馈。

没有训练集的反馈示例:

(1)想象一下正在训练的神经网络,以机器人平衡杆。反馈可能来自加速度计数据,最终可能来自每个平衡任务的成功或失败。

(2)想象一下正在训练神经网络以光学识别角色。大型培训集 可用于此目的。但是,反馈也可能来自与人类表现或另一种OCR技术的输出的比较。

然而,无论是否有训练设置,仍然有训练信号。一般来说,在没有训练信号的情况下,神经网络在预测时无效(但稍后会更多)。

Hebbian学习。

没有训练信号的神经网络学习的起点是Hebbian学习。 Hebb的假设是:

  

当细胞A的轴突足够接近激活细胞B或反复激活时   或一直参与解雇,一些生长或代谢   变化发生在一个或两个单元格中,这样A的效率就像   其中一个发射B的细胞增加了。

互联网已经巧妙地总结了这一点,因为这些电池一起发射,连接在一起。"如果你有兴趣,你可以看看Linsker和von der Malsburg的作品。他们的研究涉及视觉皮层中自组织的出现,主要是生物学的动机。

矢量量化。

即使没有训练信号,也有一些算法可以产生有意义的数据洞察力。这种洞察力可能采取分类而非预测的形式。例如,一个算法可以将输入划分为n组,但是它不能说任何特定组的成员是更好还是更差而不是另一组:只是它们是不同的。这称为聚类分析'。也许最成功的算法是矢量量化。

无监督学习中常用的方法是竞争性学习。该算法不是响应训练信号,而是在其内部竞争以理解数据。这种策略的一个例子是赢家通吃,其中最强的射击神经元被认为是最成功的。

自组织特征地图

回到神经网络,有一种神经网络算法在无监督学习下运行以执行聚类分析。这是自组织特征图(SOFM),也称为Kohonen图。 SOFM使用竞争性学习来训练神经网络。

By Denoir - Using my own software, CC BY-SA 3.0, https://en.wikipedia.org/w/index.php?curid=40452073 数字。维基百科的自组织地图。 (归因:通过Denoir - 使用我自己的软件,CC BY-SA 3.0,https://en.wikipedia.org/w/index.php?curid=40452073

在SOFM中,接近意味着相似性。

回到这个问题,矢量量化和SOFM都不需要训练集或训练信号。即便如此,这些算法能够识别数据中的模式(见图)。

答案 1 :(得分:1)

你提出的问题真的很广泛而且含糊不清,在我看来,没有一个真正的答案。这取决于网络的拓扑结构,数据的性质以及学习过程的执行方式。我认为您可以考虑不同的单独案例:

  1. 可以从学习数据集中的示例中推断出新模式:在这种情况下,您的网络可以能够识别新模式并对其进行正确分类。要了解此问题,请尝试以下情况:您的数据有两个功能:价格和质量。在您的数据中,您有低价格 - 低质量,低价格 - 高质量,高价格 - 低质量模式的示例,但您没有高价格 - 高质量的示例示例,您希望您的网络能够提供良好的结果。问题的答案是否可能取决于问题的性质。如果是价格是您的网络可能正确认证新样本的最重要因素。但如果模式更微妙 - 那么它可能是完全随机的。请注意,使用更精细的模式时,您还应该考虑网络从原始数据中提取的功能类型。例如,如果未提供 price quality 功能,但可能是从其他数据推断出来的 - 如果不需要解决原始分类,则您的网络根本无法提取它任务。
  2. 新模式独立于原始数据集中的模式:在这种情况下,我希望您的网络在新数据上表现不佳。
  3. 正如您所看到的,您的问题的答案并不简单,这取决于您的数据的性质和您想要解决的问题。出于同样的原因,我认为如果你想寻找不同的算法来管理你的任务 - 你需要详细说明你的问题。