机器学习:如何生成输出多变量而不是单变量的回归模型?

时间:2013-05-31 21:59:14

标签: machine-learning regression multitasking

鉴于D =(x,y),y = F(x),似乎大多数机器学习方法仅输出y作为单变量,无论是标签还是实际值。但我面临的情况是x向量可能只有5~9维,而我需要y作为多项分布向量,最多可以有800维。这使问题变得非常棘手。

我在多任务机器学习方法中研究了很多东西,在那里我可以同时训练所有这些y_i。当然,另一种愚蠢的方式是我也可以单独训练所有这些维度而不考虑任务之间的联系。但问题是,在回顾了很多论文之后,似乎大多数MTL实验只涉及10~30个任务,这意味着800个任务可能是疯狂的,也很难训练。也许聚类可能是一个解决方案,但我真的很好奇,任何人都可以提出其他方法来解决这个问题,而不是从MTL的角度来看。

1 个答案:

答案 0 :(得分:0)

当输入如此“小”并且输出如此之大时,我希望这些输出值有不同的表示。您可以分析它们是否是某种线性或非线性组合,因此估计“函数参数”而不是值本身。示例:我们曾经估计过一个时间序列,可以“减少”到正态分布的加权和,所以我们只需要估算权重和参数。

最后,当您只有6个输入参数时,您将在某种意义上仅达到6到12维子空间(可能不是线性的)。它们当然有点复杂,但为了避免在800维空间中出现混乱,我真的会考虑对结果进行参数化。

正如我评论机器学习,我知道生产矢量。 http://en.wikipedia.org/wiki/Bayes_estimator