我刚开始使用SparkR。我写了一个简单的脚本,初始化Spark运行分析并将我的输出收集到R.当试图停止sparkR时:
sparkR.stop()
我得到以下内容:
Stopping SparkR
Error in readTypedObject(con, type) : Unsupported type for deserialization
似乎Spark没有停止,因为:
> sc <- sparkR.init(master="local")
Re-using existing Spark Context. Please stop SparkR with sparkR.stop() or restart R to create a new Spark Context
任何人都可以向我解释发生了什么以及这个错误意味着什么?感谢
答案 0 :(得分:0)
看起来SparkR后端进程没有正确退出您可以通过列出jps
之类的所有Java进程,然后为pid发出kill <pid>
来显式停止SparkR后端进程对应SparkRBackend。
在此之后重新启动SparkR应该解决问题