启动jupyter-pyspark内核时生成损坏的文件

时间:2019-08-19 19:09:05

标签: linux pyspark jupyter-notebook

我们已经在两台具有pyspark内核的linux hadoop服务器上安装并设置了jupyter笔记本。这两台服务器具有相同的kernel.jason配置,具有相同的spark和pyhton版本。 一台服务器上的jupyter notebook ui-> pyspark内核工作正常,但在另一台服务器上启动pyspark内核时,正在用户的主目录中生成了一个文件(名称为-??????????),能够在打开的pyspark内核会话中执行查询,但是在启动新的jupyternotebook ui以及相应的pyspark内核时,无法执行查询。我们只有在删除???????之后才能执行生成的文件,然后重新启动jupyter笔记本。 -我们看到所有用户的这种行为,并且仅在一台服务器上发生。有人可以帮忙解决此问题。 版本: Python 2.7.12 Spark 2.1.1

执行的步骤:

-经过验证的pyspark内核配置,并且jupyter在其他服务器上运行,没有问题。

-在服务器上重新启动Spark客户端

-尝试重新启动无法解决问题的服务器。

1 个答案:

答案 0 :(得分:0)

看起来可能是服务器硬件出现问题