readTypedObject中的SparkR错误(con,type):反序列化的不支持类型

时间:2015-02-17 15:03:01

标签: r apache-spark bigdata

我刚开始使用SparkR。我写了一个简单的脚本,初始化Spark运行分析并将我的输出收集到R.当试图停止sparkR时:

sparkR.stop()

我得到以下内容:

Stopping SparkR
Error in readTypedObject(con, type) : Unsupported type for deserialization

似乎Spark没有停止,因为:

> sc <- sparkR.init(master="local")
Re-using existing Spark Context. Please stop SparkR with sparkR.stop() or restart R to create a new Spark Context

任何人都可以向我解释发生了什么以及这个错误意味着什么?感谢

1 个答案:

答案 0 :(得分:0)

看起来SparkR后端进程没有正确退出您可以通过列出jps之类的所有Java进程,然后为pid发出kill <pid>来显式停止SparkR后端进程对应SparkRBackend。 在此之后重新启动SparkR应该解决问题