多状态名义变量建模

时间:2016-05-27 14:35:15

标签: machine-learning neural-network

我正在阅读有关神经网络的内容并发现了这个: “许多状态的名义变量更难以处理.ST神经网络具有转换用于神经网络的双状态和多状态名义变量的功能。不幸的是,具有大量状态的名义变量需要N之一编码的数字变量数量过多,推高了网络规模并使培训变得困难。在这种情况下,使用单个数字索引对名义变量进行建模是可能的(尽管不能令人满意);更好的方法是寻找一种不同的方式来表示信息。“

这正是构建输入图层时发生的情况。 N-of-N编码使得模型设计非常复杂。但是,在上面提到你可以使用数字索引,我不知道他/她的意思是什么。什么是更好的方法来表示信息?神经网络可以解决许多状态名义变量的问题吗?

参考文献: http://www.uta.edu/faculty/sawasthi/Statistics/stneunet.html#gathering

1 个答案:

答案 0 :(得分:1)

解决此任务通常对于建模至关重要。根据这个名义变量的分布的复杂性,在其值和R^n之间找到适当的嵌入似乎非常重要。

这种嵌入最成功的例子之一是 word2vec ,其中获得了单词和向量之间的函数。在其他情况下 - 您应该使用现成的解决方案(如果存在),或者通过代表性学习(例如通过自动编码器或RBM)来准备自己的解决方案。