在堆叠机器学习中你应该训练哪些模型？

Question

我目前正在学习堆叠机器学习问题。我将获得第一个模型的输出，并将这些输出用作第二个模型的特征。

我的问题是：订单是否重要？我正在使用套索回归模型和提升树。在我的问题中，回归模型优于提升树。因此，我想我应该先使用回归树，然后再使用提升树。

做出这个决定时我需要考虑哪些因素？

Answer 1

为什么不尝试使用功能工程来创建更多功能？ 不要尝试将一个模型的预测用作另一个模型的特征。 您可以尝试使用K-means来聚类类似的训练样本。 对于堆叠，只需使用不同的模型，然后对结果取平均值（假设您有一个连续的y变量）。