确定分类中最弱的特征

时间:2016-04-17 19:30:26

标签: machine-learning regression linear-regression non-linear-regression

基本的机器学习练习是对某些数据进行回归。例如,估计鱼的长度与体重和年龄的关系。

这通常通过拥有大量训练数据集(体重,年龄,长度)然后应用一些回归分析来完成。然后可以根据它的重量和年龄来估计新鱼的长度。

然而,假设我想要解决这个问题:"我有一条已知重量W,年龄A和长度L的鱼。假设我希望长度为M而不是L,我应该如何调整W和A"。

这似乎是一个常见的问题,但我不知道它叫什么。有人可以帮我正确的方向。 如果它是线性的,你如何处理这个问题?如果它是非线性的,那么你会怎样?

1 个答案:

答案 0 :(得分:0)

您正在寻找功能依赖

f: IR -> IR^2,  f(Weight) = (Age, Length)^T

您可以使用与现在使用的方法基本相同的方法执行此操作。它只是目标是二维的,因此你需要调整你的损失函数。

二维空间中的简单欧几里德距离不再适用,因为您已经获得了不同的幅度和不同的预测变量单位。所以你必须在这里有创意 - 例如,你可以将两个预测变量归一化为[0,1],将归一化值输入欧几里得或L1距离损失函数。

获得合适的损失函数后,照常进行:选择机器学习方法,拟合数据,进行预测。

关于选择方法:这可以是简单的和不相关的 - 例如两个不相关的线性回归,或者更一般地将两个一维输出方法堆叠在一起 - 到相关和更复杂的:例如人工具有两个输出节点的神经网络,其中ANN参数是相关的。

最后,这是线性回归情况的一个例子。你在那里制作ansatz

(Age, Length)^T =  (a1 + b1* Weight, a2 + b2*Weight)^T

并通过最小化损失函数a1, b1, a2, b2找到参数L,这在最简单的情况下只是

L(a1,b1,a2,b2) = || Age - a1 + b1 * Weight ||^2 + || Length - a2 + b2 * Weight ||^2

此选择相当于两个独立的一维线性回归。细

但是,您通常也希望目标参数之间保持一致 - 直观地说:您更喜欢(Age, Length)中的两个小偏差,一个大偏差和一个零偏差。这是相关方法和损失函数进入的地方。