Python / DBUtils / Databricks

时间:2019-11-19 05:22:53

标签: python databricks azure-databricks

我是Python的新手,需要Databricks的帮助。

我需要使用Python将文件从Azure Blob复制到ADLS。

我需要Python文件中的代码,并且需要从Databricks而非笔记本执行。

我尝试了以下内容,

使用spark.conf.set设置Blob和ADLS的访问键。 我使用dbutils.fs.cp复制文件。

它正在执行,没有任何错误,但是文件实际上并未复制到ADLS。

任何帮助将不胜感激。

谢谢

1 个答案:

答案 0 :(得分:0)

我能够使用Databricks实用程序命令( dbuitls.fs.cp('Source','Destination))将文件从Azure Blob存储移动到ADLS:

首先,我已经安装了名称为(/ mnt / chepra)的Azure Blob存储帐户和名称为(/ mnt / flightdata)的ADLS Gen2帐户。

Azure Blob存储安装架:(/ mnt / chepra)

enter image description here

Azure Data Lake存储(/ mnt / flightdata)

enter image description here

现在,您可以使用databricks实用程序命令从Azure Blob存储cp到Azure Data Lake Storage,如下所示:

dbutils.fs.cp('/mnt/chepra/sales.csv', '/mnt/flightdata')

enter image description here

希望这会有所帮助。