用于Scala和Spark的多类分类的自定义损失函数

Question

我想问问这是否有可能使用Scala为Spark中的多类分类编写自定义损失函数。我想在Scala中编码multi-class logarithmic loss。我搜索了Spark文档，但没有任何提示。

Answer 1

来自Spark 2.2.0 MLlib guide：

  

当前仅支持二进制分类。当支持多类分类时，这可能会改变。

Answer 2

如果您不限于特定的分类技术，建议您使用XGBoost。它具有Spark兼容的实现，并且可以使用任何损失函数（只要您可以计算两次导数）即可。

您可以找到教程here。

有关here的原因，也可以找到为什么可以使用自定义损失函数的解释。