如何将已安装的dbfs jar文件从databricks群集下载到本地计算机？

Question

我是Databricks的新手，我希望将已安装的databricks集群库下载到我的本地计算机上。你能帮我吗？

详细地说，我已经有一个正在运行的集群，并且已经在其中安装了库。我需要将其中一些库（它们是dbfs jar文件）下载到我的本地计算机上。我实际上一直在尝试通过databricks-cli使用'''dbfs cp'''命令，但这不起作用。它没有给出任何错误，但是也没有执行任何操作。我希望这可以清除一些东西。

Answer 1

注意：通过Jars，Maven，PyPI安装库时，这些库位于文件夹路径dbfs:/FileStore中。

• 对于位于-dbfs:/FileStore/jars
的交互式群集Jars
• 对于位于-dbfs:/FileStore/job-jars
的自动群集Jar

有几种方法可以将已安装的dbfs jar文件从databricks集群下载到本地计算机。

GUI方法：您可以使用DBFS Explorer

创建DBFS Explorer是一种将文件上传和下载到Databricks文件系统（DBFS）的快速方法。这将适用于AWS和Azure Databricks实例。

您需要在网络界面中创建一个承载令牌才能连接。

第一步：从此处下载DBFS资源管​​理器：https://datathirst.net/projects/dbfs-explorer并安装。

第二步：如何创建承载令牌？

• 点击位于右上角的用户个人资料图标用户个人资料 您的Databricks工作区。

• 点击用户设置。

• 转到访问令牌标签。

• 点击生成新令牌按钮。

注意：复制生成的令牌并将其存储在安全的位置。

步骤3：：打开Databricks的DBFS资源管​​理器，然后输入Host URL和Bearer Token，然后继续。

第4步：：导航到名为FileStore => jars =>的DBFS文件夹，选择要下载的jar，然后单击“下载”，然后选择本地计算机上的文件夹。

CLI方法：您可以使用Databricks CLI

步骤1：：安装Databricks CLI，并使用您的Databricks凭据进行配置。

第2步：：使用CLI“ dbfs cp”命令将文件复制到DBFS和从DBFS复制文件。

语法： dbfs cp <SOURCE> <DESTINATION>

示例： dbfs cp "dbfs:/FileStore/azure.txt" "C:\Users\Name\Downloads\"