如何删除已经从Azure Databricks工作区中删除的库

时间:2019-01-17 21:33:06

标签: databricks azure-databricks

在删除添加了选项“在所有群集上自动安装”的库jar之后,该库仍自动安装在工作空间中的所有群集上。我需要删除或禁用该库的自动安装行为。

我从Maven将一个库导入了我的Azure Databricks工作区。新版本发布后,我添加了新版本,并刚刚从工作区中删除了旧版本的jar。

通过“在所有群集上自动安装”行为将旧版本添加到工作区中,即使jar从GUI中删除,它仍会安装在工作区中创建的所有新群集中。由于jar消失了(从GUI),所以我无法更改jar的“在所有集群上自动安装”行为,并且Databricks不允许您从集群(从集群视图)手动解除自动安装的库的连接。 / p>

我尝试从Maven Central读取相同的库(相同版本),并将新的jar安装在群集上,以查看是否覆盖了旧的安装,希望我可以通过这种方式更改行为。不幸的是,当我尝试将新下载的版本添加到已自动安装该库的群集中时,安装将无限期地停留在挂起状态。

任何关于无需设置新工作区即可解决此问题的想法都是很棒的。

2 个答案:

答案 0 :(得分:1)

几个选择。首先,检查“群集”中的“库”选项卡,看看是否可以从中删除它。 如果没有打开笔记本并运行:

%fs ls "/FileStore/jars/

这是缓存库的地方。如果可以确定是哪个库,则可以将其删除并重新启动集群。

答案 1 :(得分:1)

这是Databricks中的错误(看起来已经存在很长时间了!)。如果您勾选了“在所有群集上自动安装”,然后删除共享库,则会将其安装在所有新群集上,并且无法卸载。

要卸载它,请转到“共享工作区”并创建一个新的库。输入完全相同的软件包,然后单击“创建”。现在,在下一个屏幕上,您可以取消选中“在所有群集上自动安装”并将其从已安装的群集中删除。然后,您可以将新库移到回收站。

在Databricks论坛上对这篇帖子的发现感到敬佩:https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html