使用sbt package
我有以下错误
加载BytesWritable时出现Spark Scala错误,LOC标头无效(错误签名)
我的代码是
....
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
......
object Test{
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Test")
val sc = new SparkContext(conf) // the error is due by this
......
}
}
答案 0 :(得分:0)
请重新加载您的JAR和/或库依赖项,因为它们可能在通过sbt构建jar时可能已损坏 - 可能是其更新之一的问题。第二个选择是你有太多的临时文件打开,检查你的4040-9端口是否有任何作业挂起并杀死它们,如果是这样,你还可以检查如何增加你在linux上打开的文件:/etc/security/limits.conf
其中hard nofile
*****和soft nofile *****
然后重启ulimit -n ****
答案 1 :(得分:0)
我使用的是spark-mllib_2.11,它给了我同样的错误。我不得不使用Spark MLIB的2.10版来摆脱它。
使用Maven:
<artifactId>spark-mllib_2.10</artifactId>