在Spark应用程序中使用fastutill ObjectArrayList会引发异常

时间:2016-11-30 01:37:35

标签: scala apache-spark

我在我的spark streamign应用程序中使用了一个快速的ObjectArrayList [object]而不是scala中的ArrayBuffer(在mapwithstae函数内)

我使用lates版本..使用下面的sbt

#{posts}

然而,它会引发异常

libraryDependencies += "it.unimi.dsi" % "fastutil" % "7.0.13"

1 个答案:

答案 0 :(得分:0)

Ok ..只是在spark submit中添加为jars参数,它解决了..