在删除添加了选项“在所有群集上自动安装”的库jar之后,该库仍自动安装在工作空间中的所有群集上。我需要删除或禁用该库的自动安装行为。
我从Maven将一个库导入了我的Azure Databricks工作区。新版本发布后,我添加了新版本,并刚刚从工作区中删除了旧版本的jar。
通过“在所有群集上自动安装”行为将旧版本添加到工作区中,即使jar从GUI中删除,它仍会安装在工作区中创建的所有新群集中。由于jar消失了(从GUI),所以我无法更改jar的“在所有集群上自动安装”行为,并且Databricks不允许您从集群(从集群视图)手动解除自动安装的库的连接。 / p>
我尝试从Maven Central读取相同的库(相同版本),并将新的jar安装在群集上,以查看是否覆盖了旧的安装,希望我可以通过这种方式更改行为。不幸的是,当我尝试将新下载的版本添加到已自动安装该库的群集中时,安装将无限期地停留在挂起状态。
任何关于无需设置新工作区即可解决此问题的想法都是很棒的。
答案 0 :(得分:1)
几个选择。首先,检查“群集”中的“库”选项卡,看看是否可以从中删除它。 如果没有打开笔记本并运行:
%fs ls "/FileStore/jars/
这是缓存库的地方。如果可以确定是哪个库,则可以将其删除并重新启动集群。
答案 1 :(得分:1)
这是Databricks中的错误(看起来已经存在很长时间了!)。如果您勾选了“在所有群集上自动安装”,然后删除共享库,则会将其安装在所有新群集上,并且无法卸载。
要卸载它,请转到“共享工作区”并创建一个新的库。输入完全相同的软件包,然后单击“创建”。现在,在下一个屏幕上,您可以取消选中“在所有群集上自动安装”并将其从已安装的群集中删除。然后,您可以将新库移到回收站。
在Databricks论坛上对这篇帖子的发现感到敬佩:https://forums.databricks.com/questions/16400/remove-auto-install-library-thats-already-been-del.html