我有一个数据集，其中包含两组（案例和控制）的一些记录。案例组已经进行了第二轮记录，因此，对照组仅进行了一次记录，而案例组进行了两轮记录。数据集非常小，每个组仅包含19个主题。但是每个科目都有很长的录音，分为几个时期。
任务是两组之间的简单二进制分类（基本上是它们相关的纪元）。我在第一轮录音中使用了留一法交叉验证，并获得了不错的分类准确性。但是，如果我在第一轮中使用数据集来训练分类器，并在第二轮中使用记录对其进行测试（仅测试集中的案例组）。使用此过程，分类的准确性会大大下降。第一轮的交叉验证应该已经可以估算出分类的通用性，因此我不太理解为什么第二轮的测试会导致准确性显着下降。错误率，因为这是我只能测试假阴性，不会有任何假阳性。
我试图检查受试者的状态信息在第一轮到第二轮之间是否发生了系统性的变化，但是没有发现任何明显的变化。
这里有任何暗示为什么会这样吗？这是正常现象吗？如果有人认为分类器可能不适用于第一轮录音，那么当我尝试“留一法”时，我使用了具有相同超参数集的分类器进行正则化，那么我不明白为什么还要在训练中增加一个主题数据集可能会导致过度拟合，而超出交叉验证所能测试的范围。