使用Spark安装glm时,我遇到No status is returned. Java SparkR backend might have failed.
错误。该作业实际上似乎基于Spark web ui运行完成,但在模型拟合期间(它似乎不是一致的位置),SparkR返回上述错误消息然后返回到R REPL。我没有看到任何我可以参考的日志来识别问题。问题回答者会指出我的日志,还是提供有关此问题的其他反馈?
我可以看到错误生成代码是here。看起来好像get(".sparkRCon", .sparkREnv)
指定的连接可能不存在或者在计算过程中对空字符串做出虚假响应?我很茫然。
我使用Amazon EMR 2.0.0
使用Spark 5.0
。
答案 0 :(得分:4)
FWIW - 我对此错误的体验表明驱动程序通常是OOMed(虽然不是驱动程序失败的唯一原因)。节点全部完成了操作,但编译结果时驱动程序失败。对此进行故障排除并不明显,因为SparkR掩盖了很多错误......我通过在pyspark中运行相同的查询并在那里看到驱动程序Java OOM错误来找到它。