Databricks笔记本电脑以标准群集模式分离

Question

编辑：更新。无论用户数量如何，都会发生这种情况。即使只有一个用户，它仍然会发生。

databricks笔记本电脑在使用中反复拆卸。

我们的数据科学家来自Jupyter背景，由于Koalas存在一些差距，他继续使用Pandas并采取了一些解决方法，这意味着驱动程序将承受更大的负担，但笔记本电脑似乎可以正常工作。

我一直在寻找遇到类似问题的人，但还没有看到这一点。

这是我的火花配置：

rows = s.count('\n') + 1
np.fromstring(s, sep=' ').reshape(rows, -1)

数据科学家拆离时会看到两个错误：

笔记本分离

spark.driver.extraJavaOptions -XX:+UseG1GC
spark.driver.cores 8
spark.driver.memory 16g
spark.executor.extraJavaOptions -XX:+UseG1GC

火花上下文已停止

Notebook detached
Exception when creating execution context: 
java.util.concurrent.TimeoutException: Exchange timed out after 15 seconds.

从我可以连接另一台笔记本电脑并运行命令的角度来看，该集群看起来还不错。

我希望发生的事情是笔记本永远不会被随意拆下并丢失所有工作。

当我查看驱动程序日志时，以下是唯一突出的消息：

The spark context has been stopped or the cluster has been terminated.
Please restart the cluster or attach this notebook to a different cluster.

Answer 1

我有类似的问题。驱动程序崩溃并停止，并显示此消息。 就我而言，该工作仅在驱动程序上执行，并且没有足够的能力来执行该工作（查询+ s3文件保存）。 我减少了df maxRecordsPerFile，所以现在有更多文件（在我只有一个之前），并且可以在节点之间并行化它。此后，该作业执行良好。驱动程序也没有崩溃，也不再与笔记本电脑分离。 希望对您有所帮助。