cluster.foreach(println)
它有数据
(354796,0.0)
(755508,0.0)
(846729,4.645113340765515E-5)
(101257,0.0)
.....
集群中的数据量约为900000
在运行代码时:
cluster.collect()
抛出任务不可序列化错误
当我获取大约400000的数据时它将运行
这是一个图聚类问题
更新
vdeg.foreach(println)
输出为
(754897,10.0)
(846729,208.0)
(682981,23.0)
(354796,21.0)
(755508,5.0)
(194402,16.0)
运行代码时
val pw = new PrintWriter(new File("zzzz.txt" ))
vdeg.foreach(x=>pw.write(x.toString))
pw.close()
给出错误
org.apache.spark.SparkException:任务无法在以下位置序列化 org.apache.spark.util.ClosureCleaner $ .ensureSerializable(ClosureCleaner.scala:403) 在 org.apache.spark.util.ClosureCleaner $ .org $ apache $ spark $ util $ ClosureCleaner $$ clean ....