无法加载数据源的类:在spark ML pyspark / scala中的Libsvm

时间:2016-02-02 15:09:22

标签: apache-spark pyspark mapr apache-spark-mllib apache-spark-ml

当我尝试使用"sqlContext.read.format("libsvm").load"在pyspark / scala中导入libsvm文件时,出现以下错误 -

  

“无法加载数据源类:Libsvm。”

同时,如果我使用"MLUtils.loadLibSVMFile",它的效果非常好。我需要同时使用Spark ML(获取类概率)和MLlib进行评估。附上了错误截图。

这是一个MapR集群。 Spark版本1.5.2 Error

2 个答案:

答案 0 :(得分:1)

从Spark 1.6版本开始,

libsvm源格式可用。

答案 1 :(得分:0)

这可能是版本不匹配,您项目中的libsvm版本可能没有该特定的API,您是否可以验证libsvm的版本是否已加载,然后确定该API是否可用?