ADLS Gen 1文件下载问题

时间:2019-10-29 09:20:13

标签: python databricks azure-data-lake azure-databricks

我正在使用一个简单的python文件编写一个程序,以在databricks文件系统目录中写入和保存数据。 使用dbutils mv命令,我将创建的文件从dbfs移至ADLS Gen 1存储。该文件大小小于1 MB,但是,我收到以下错误消息。但是令人惊讶的是我能够下载文件。

File download error. 
The file is larger than 250 MB. To download files larger than 250 MB, please use Azure Storage Explorer.

下面是我用来在dbfs中写入文件然后移至ADLS的代码。

  with open('/dbfs/schema/{0}.sql'.format(tbl_name), 'w') as ddl_file:
    ddl_file.write(ddl)
    dbutils.fs.mv('{0}{1}.sql'.format(temp_schema_dir, tbl_name),'{0}{1}.sql'.format(schema_dir, tbl_name))

0 个答案:

没有答案