Apache Spark 2.1中缺少LinearSVC? Spark 2.2中的非线性内核?

时间:2018-05-16 06:03:41

标签: apache-spark machine-learning svm

您能否确认(或反驳)以下两个陈述?

  1. 支持SparkML上的支持向量机(不讨论基于RDD的实现)仅在Apache Spark V2.2.0之后可用(因为它仅出现在2.2 API doc https://spark.apache.org/docs/2.2.0/api/java/org/apache/spark/ml/classification/Classifier.html
  2. 支持SparkML上的支持向量机当前不支持使用内核的非线性分类器(同样,不是谈论基于RDD的实现)。

1 个答案:

答案 0 :(得分:1)

  1. LinearSVC仅可从 spark 2.2 + 获得,但它仍然是实验性的: https://github.com/apache/spark/blob/v2.3.0/mllib/src/main/scala/org/apache/spark/ml/classification/LinearSVC.scala#L72

  2. SVM分类器的内核功能以查找非线性模式仍然是一项正在进行的任务,但现在似乎没有人正在研究它。您可以在此链接上关注它的进度: https://issues.apache.org/jira/browse/SPARK-4638