我有一组从受试者记录的数据集，因为他们执行某些特定的认知任务。数据由16个通道和每个通道的多个采样点组成，我想根据正在执行的认知任务对所有数据进行分类（所有标记都已标记）。
问题是我没有大量数据（每个会话大约60个试验，每个认知任务大约30个），我有2个会话。我正在尝试训练线性判别分析（LDA）分类器来对这些数据进行分类。稍后将分类器实时用于为每个样本数量提供某种形式的输出。
我使用了5倍交叉验证来衡量分类器的泛化误差。问题是，当我多次运行这个5倍交叉验证时，我得到的结果根本不是常数。相反，总体准确度存在显着差异（例如，前5次交叉验证可能产生80％的平均准确度，第2次产生65％的准确度，3次产生平均72％等等）。这是正常的吗？如果没有，原因可能是什么？
答案 0 :(得分：0)
听起来你可能有一些不好的数据或你的分类器过度拟合。您可以执行Leave-one-out交叉验证并记下结果。它可以帮助找到可能会影响结果的数据。