如何设置checkpiont目录PySpark数据科学经验

Question

您能否帮助我解释如何在IBM的数据科学体验中为PySpark会话设置检查点目录？

需要，因为我必须从GraphFrames运行this.router.events.subscribe((event) => { console.log(event); }); 并引发以下错误

connectedComponents()

Answer 1

主要问题是获取笔记本所具有的目录作为工作目录，以使用sc.setCheckpointDir()设置checkpoit目录。这可以通过

轻松完成

!pwd

然后，应在该路线上创建检查点目录

!mkdir <pwd_output>/checkpoints

最后设置检查点

spark.sparkContext.setCheckpointDir('<pwd_output>/checkpoints')