Question

使用sbt package我有以下错误

加载BytesWritable时出现Spark Scala错误，LOC标头无效（错误签名）

我的代码是

....
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf
......

object Test{
    def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Test")
    val sc = new SparkContext(conf) // the error is due by this 
    ...... 
    }
}

Answer 1

请重新加载您的JAR和/或库依赖项，因为它们可能在通过sbt构建jar时可能已损坏 - 可能是其更新之一的问题。第二个选择是你有太多的临时文件打开，检查你的4040-9端口是否有任何作业挂起并杀死它们，如果是这样，你还可以检查如何增加你在linux上打开的文件：/etc/security/limits.conf其中hard nofile *****和soft nofile *****然后重启ulimit -n ****

Answer 2

我使用的是spark-mllib_2.11，它给了我同样的错误。我不得不使用Spark MLIB的2.10版来摆脱它。

使用Maven：

<artifactId>spark-mllib_2.10</artifactId>

加载BytesWritable时出现Spark Scala错误，LOC标头无效（签名错误）

2 个答案: