从Azure Databricks下载通过Python代码写入DBFS的文件

Question

如何将DBFS中的文件下载到本地系统？该文件是从Databricks Notebook创建的。

Answer 1

方法1：：使用Databricks门户GUI，您可以下载完整结果（最多100万行）。

要下载完整结果，请首先将文件保存到dbfs，然后使用Databricks cli将文件复制到本地计算机，如下所示。

dbfs cp "dbfs:/FileStore/tables/my_my.csv" "A:\AzureAnalytics"

您可以使用DBFS CLI，DBFS API，Databricks文件系统实用程序（dbutils.fs），Spark API和本地文件API访问DBFS对象。

在Spark集群中，您可以使用Databricks文件系统实用程序，Spark API或本地文件API访问DBFS对象。

在本地计算机上，您可以使用 Databricks CLI 或 DBFS API 访问DBFS对象。

参考： Azure Databricks – Access DBFS

方法2：使用Databricks CLI

DBFS命令行界面（CLI）使用DBFS API向DBFS公开了易于使用的命令行界面。使用此客户端，您可以使用与Unix命令行上使用的命令类似的命令与DBFS进行交互。例如：

# List files in DBFS
dbfs ls
# Put local file ./apple.txt to dbfs:/apple.txt
dbfs cp ./apple.txt dbfs:/apple.txt
# Get dbfs:/apple.txt and save to local file ./apple.txt
dbfs cp dbfs:/apple.txt ./apple.txt
# Recursively put local dir ./banana to dbfs:/banana
dbfs cp -r ./banana dbfs:/banana

参考： Installing and configuring Azure Databricks CLI

方法3：：使用名为DBFS Explorer的第三方工具

DBFS Explorer是一种将文件上传和下载到Databricks文件系统（DBFS）的快速方法。这将适用于AWS和Azure Databricks实例。您需要在网络界面中创建一个承载令牌才能连接。

Answer 2

按照讨论here

或者您可以简单地设置databricks cli并使用dbfs cli轻松地将文件复制到dbfs或从dbfs复制文件。

有关该命令的更多信息，请遵循官方文档： https://docs.databricks.com/dev-tools/cli/dbfs-cli.html