任务不可序列化

时间:2019-12-05 11:39:04

标签: scala apache-spark hadoop task serializable

cluster.foreach(println) 它有数据

(354796,0.0)
(755508,0.0)
(846729,4.645113340765515E-5)
(101257,0.0)
.....

集群中的数据量约为900000

在运行代码时: cluster.collect() 抛出任务不可序列化错误 当我获取大约400000的数据时它将运行 这是一个图聚类问题

更新

vdeg.foreach(println)

输出为

(754897,10.0) 
(846729,208.0) 
(682981,23.0) 
(354796,21.0)
(755508,5.0)
(194402,16.0) 

运行代码时

val pw = new PrintWriter(new File("zzzz.txt" )) 
vdeg.foreach(x=>pw.write(x.toString)) 
pw.close() 

给出错误

  

org.apache.spark.SparkException:任务无法在以下位置序列化   org.apache.spark.util.ClosureCleaner $ .ensureSerializable(ClosureCleaner.scala:403)   在   org.apache.spark.util.ClosureCleaner $ .org $ apache $ spark $ util $ ClosureCleaner $$ clean ....

0 个答案:

没有答案