训练香草nn时强调功能

时间:2019-12-04 09:22:00

标签: python-3.x machine-learning scikit-learn neural-network hyperparameters

我在训练神经网络模型时具有360种奇特特征。 我得到的准确性太差了。 360中有一个功能比其他功能更重要。

目前,它在其他功能中没有任何特殊地位。 在训练模型时,有没有办法强调其中一个功能?我相信这可以提高我模型的准确性。

我正在使用带有Keras和Scikit-learn的Python 3.5。

编辑:我正在尝试回归问题

任何帮助将不胜感激

2 个答案:

答案 0 :(得分:0)

首先,我将确保仅此功能就具有不错的预测概率,但是我假设您已经确定了这一点。

然后,您可以采用的一种方法是将359个其他功能“嵌入”到第一层中,并且只有在压缩了其余信息后才提供您的特殊功能。

与大多数教程所相信的相反,您不必添加第一层中已经存在的所有功能,但是可以在技术上在任何时间点(甚至多次)插入它们。

捕获其他输入的第一层是某种形式的“ PCA逼近器”,其中您将一个高维特征空间(359个维度)嵌入到一个相对于其他特征而言不那么占主导地位的事物中(也许20-50尺寸为起点?)

当然不能保证这会奏效,但是您可能会有更多的机会关注您的特殊功能,尽管我可以肯定地说,如果使用单个功能,通常您仍然可以看到性能的提高与您的输出具有足够的相关性。

另一个仍然悬而未决的问题是您正在训练的任务类型,即您是在进行某种形式的分类(如果是的话,是多少个类?)或回归。这也可能会影响体系结构的选择,以及您可以/应该将重点放在单个功能上的数量。

答案 1 :(得分:0)

机器学习中有几种功能选择和重要性技术。请遵循此link