模型压缩为什么它工作得很好？请解释

Question

模型压缩：让我用简单的语言解释一下。

让X_train（特征），Y_train（目标）成为训练数据。

X_train, Y_train ------> M1 (Example: decision tree)

X_train --------> M1 ----> Y_pred (predicted Y for X_train)

现在

Case 1:
    X_train, Y_pred -----------> M2 (Example: any model that is NOT decision tree)

    X_train ---------------> M2  ----------> Y_pred1 

Case 2:
    X_train, Y_train -----------> M2 (Example: any model that is NOT decision tree)

    X_train ---------------> M2  ----------> Y_pred2

现在我计算M2的AUC分数。

Case 1:
 AUC (Y_pred, Y_pred1)
Case 2:
  AUC (Y_train, Y_pred2)

案例1 AUC高于案例2 AUC。案例1称为模型压缩。我喜欢得到它背后的直觉。当然，AUC是用概率计算的。

Answer 1

结果背后的直觉是给定Y_pred的{​​{1}}的条件熵为零。因此M2比第二种情况更容易学习X_train。