LightGBM树形结构的提取和解释

Question

我正在尝试提取由Light GBM算法构造的树的确切树结构。我已经使用model_dump并成功提取了结构。树看起来像这样（在虹膜数据集上训练）：

我在理解如何评估这棵树上遇到麻烦。 Another topic on Stack Overflow says that leaf value is raw prob. before sigmoid。似乎完全合乎逻辑，但是当我尝试将此值放入S型函数中时，lightgbm.predict(...)返回的概率与根据我的树计算出的概率不同。 model_dump之前是否存在任何影响这些值的后处理？什么是计算输出概率的正确方法。从那些树上。

Answer 1

虹膜数据集是多类分类。您显示给我们的那棵树是一堂课。根据您使用的objective，后处理并不总是为S型。对于多类别，您需要将softmax function应用于原始预测。