Spark Shell - 对象不可序列化(类:org.apache.hadoop.hbase.client.Put

时间:2016-03-05 22:36:15

标签: scala serialization apache-spark

我在Spark / Scala REPL上尝试一个简单的代码并得到此错误。如何解决这个问题。我想使用RDD.saveAsNewAPIHadoopDataset(conf)将RDD保存到HBase

ExoPlayer

错误TaskSetManager:阶段5.0(TID 17)中的任务0.0具有不可序列化的结果:org.apache.hadoop.hbase.client.Put

1 个答案:

答案 0 :(得分:0)

Put不可序列化 - 因为它在地图闭包中将在工作节点上执行,因此需要序列化并从驱动程序发送到工作节点。由于它是不可序列化的,因此无法导致异常。