如何评估和分析机器学习算法的性能？

Question

很抱歉，如果我的问题听起来太天真了......我对机器学习和回归真的很陌生 我最近加入了一个机器学习实验室作为硕士生。我的教授要我写＃34;实验分析＆＃34;实验室即将提交的关于他们已经开发的回归算法的论文部分。 问题是我不知道我要做什么他说算法是稳定的并且已经完成，他们已经写了论文的第一部分，我需要编写评估部分。 我真的不知道该怎么做。我参与了算法的编码，我很了解它，但我不知道为了评估和分析它的性能我必须承担哪些任务。 - 我在哪里获得数据？ - 测试过程是什么？ - 分析要做什么？ 我是研究和论文写作的新手，我真的不知道该怎么做。 我最近读了很多论文，但我没有分析ML算法的经验。 请你指导我并解释（新手级别）这个过程。 详细的答案表示赞赏 感谢

Answer 1

• 您需要一个测试数据集来评估性能。如果你 没有那个，划分你的训练数据集（你当前的 将此算法运行到训练集和交叉验证集中 （不重叠）。

  通过从中删除预测（y值）来创建测试集 交叉验证集。

  使用训练数据集运行算法以训练模型。

  对模型进行训练后，使用剥离模型测试其性能 关'测试集'。

  要评估性能，可以使用RMSE（Root Mean Squared 错误）指标。您将需要使用您的预测 为测试集中的每个样本制作的算法及其算法 相应的实际预测（你早先剥离了 喂入测试装置）。您可以找到更多信息here。

Answer 2

机器学习模型评估

看看this paper。它是为没有计算机科学背景的人编写的，所以应该很容易理解。它涵盖：

• 模型评估工作流程

• 坚持验证

• 交叉验证

  • k 折交叉验证
  • 分层k折交叉验证
  • 留一法交叉验证
  • leave-p-out 交叉验证
  • 留一组出交叉验证

• 嵌套交叉验证