如何设计一个不进行输入分类的无监督神经网络?

时间:2017-10-27 19:25:43

标签: neural-network artificial-intelligence traveling-salesman

我已经阅读了大量关于特定输出值的神经网络,但我没有看到无监督网络针对不太具体的目标进行优化(例如最小化成本,但我们不知道理想值是什么样的)。

让我们讨论一个具体的例子:

鉴于Travelling salesman problem有轻微的转折:

  • 虽然城市之间的旅行费用是固定的,但它不能再作为输入的一部分包括在内。成本可以从外部子系统按需读取,并且仅在每个时代结束时的成本函数中可用。
  • 我们没有培训数据(我们不知道理想的解决方案是什么样的)。

有人可以提供可以解决此问题的高级设计吗?我正在寻找类似于https://stackoverflow.com/a/42516959/14731的内容。

我担心尝试将成本函数相对于零目标成本最小化,因为下降梯度将远远高于理想解决方案已知的下降梯度。

2 个答案:

答案 0 :(得分:1)

从您使用的单词和您提供的参考文献中,您似乎在考虑深度学习和反向传播,但我建议您考虑使用神经进化。

简而言之,神经进化在连续迭代中创建了候选解决方案池。它只要求您可以根据他们的前景或成功程度对候选人进行排序。在您的旅行推销员问题中,我们知道更少的时间更好,因此可以轻松地对候选人进行排序。然后创建新一代的候选人,将旧的候选人作为父母,在你的名单中较高的父母将有更大的机会产生后代。

NEAT是一种常见的算法,并且有许多语言的版本。

对于更多欺骗性问题,novelty search是个好主意。

需要明确的是:neuroevolution不使用反向传播,但确实使用神经网络。找到适合给定任务的神经网络是一种不同的方法。

答案 1 :(得分:-1)

好问题,吉利。

嗯,近年来人工神经网络收到了一个确实不合理的大规模“人气”。今天,如果一些新的产品/流程/创业公司声称没有人工智能或至少有一个神经网络背后,它在流行媒体的流动中有点气味。现实是另一回事。

经典人工神经网络只不过是一个最小化驱动工具,它本身就没有真正的智能,它只遵循tanh() / sigmoid()剂量的“类固醇”的线性代数规则,用于附加的非线性变换。

你问一件事,那就是自我进化 ---那非常有趣

外部的自适应反映(递延的事后奖励)需要一种方法来执行网络权重的自我实现。这是Genetically Inspired Systems(Koza等人)在进化计算系统中推广了几十年的事情。

然而,人们已经认识到一些温和的尝试,最近在人工神经网络中促进某种微不足道的自我实现,增加了一个预期的(更好的“预先连线”,c / f基因启发系统推测多态性多个试验与前-post阶段的选择,由“预定义的最佳拟合度”驱动,不仅重新安排它自己的轴突重量,而且还重新安排它自己的拓扑结构 - 重新连接神经连接(当然,在更低的路上级别/方式更弱实用 - (非)相关的自我实现 - 参考,在更高的抽象层次上,马斯洛提升了需求层次。)

在这个领域经过几十年之后,我敢说,人工智能工具(用“深度”标签来美化它们(增加可能内部状态的“表现力”)(一旦合理可计算出来) [PTIME,PSPACE]-约束系统),而不是任何主要的新概念属性或“卷积”(核心变换有意识地模糊细节,以便允许更好的数字(不是诺斯替)“泛化”)只是代数绑定作为一种装备精良的有限状态自动机的角色,为了找到最错误的答案,给出了[ penalty-function, so-far-visited-part-of-empiric-experience ] - 的串联-adjusted (调整)超过之前已知数量的已收集{ example: answer }对观察到的经验经验。

人工智能的答案可以说出一个最不正确的东西(通过愚蠢的“代数硬连线信念的推断”严格预期的那样,游戏的规则没有改变,以获得最小的伤害(从以前预先修复)收集经验)惩罚,基于之前的 [ penalty-function, so-far-visited-part-of-empirics ] ,但从不为什么,因此总是(不知情地,这不是借口,而是明确接受的事实,它不能在这个方向上的任何其他事情)“神秘”你用“答案”传递(在做代数固定最好的情况下)在这些变化或转换到另一种模式的情况下(参考。(超) - 混沌系统的Lyapunov系数,所有本质上复杂的系统是......):

  • penalty-function 修改(最小化者的规则正在改变游戏!)
  • 观察experience (通过看到一系列“正在”漂移或 { example: answer } 对的全新“品种” (s))

所以是的,你可以重新表达一个愿景&生成进化人工神经网络,

但是为了做到这一点,你处于最边缘,恕我直言,没有工具存在,所以你进入一个非常深的雪是第一个。

非常有趣,因为你定义了新规则,但也非常苛刻并且挑战了许多对手。

含义 - 你几乎无法使用任何“硬连线”-ANN工具包,所以确实是处女雪&面对你的巨大挑战,伙计。

我个人基于观点的猜测是,如果尝试使用某种预制的抽象 - [神经网络]组件工厂来增强高性能进化计算工具,并且如果您当前的研究项目预算和 [PTIME,PSPACE] - 计算结构的性能范围允许 - 可以享受适应能力的进化驱动增长的力量,这些能力在少数几个最佳的多样性中生存下来。强大>不断增长的人口中获得的“技术诀窍保持最佳(活着)

确实很有挑战性。

(尽管你会从自然之母那里作弊 - (我们还没有找到更好的学习和吸取教训的硕士,是吗?))