我刚开始使用MLib for Spark并尝试运行提供的示例,更具体地说是https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/examples/ml/DCTExample.scala
但是,使用IntelliJ IDE进行编译失败并显示消息
Error:(41, 35) No TypeTag available for (org.apache.spark.ml.linalg.Vector,)
val df = spark.createDataFrame(data.map(Tuple1.apply)).toDF("features")
项目设置使用jdk1.8.0_121,spark2.11-2.1.0和scala 2.10.6。
关于为什么示例无法运行的任何想法?我在安装过程中遵循了以下教程:https://www.supergloo.com/fieldnotes/intellij-scala-spark/
答案 0 :(得分:1)
对于Scala 2.11,你不能拥有Scala 2.11的火花(这就是名称中_2.11
的含义),尽管这个特定的错误看起来很奇怪。切换到Scala 2.11.8。