我正在使用一个简单的python文件编写一个程序,以在databricks文件系统目录中写入和保存数据。 使用dbutils mv命令,我将创建的文件从dbfs移至ADLS Gen 1存储。该文件大小小于1 MB,但是,我收到以下错误消息。但是令人惊讶的是我能够下载文件。
File download error.
The file is larger than 250 MB. To download files larger than 250 MB, please use Azure Storage Explorer.
下面是我用来在dbfs中写入文件然后移至ADLS的代码。
with open('/dbfs/schema/{0}.sql'.format(tbl_name), 'w') as ddl_file:
ddl_file.write(ddl)
dbutils.fs.mv('{0}{1}.sql'.format(temp_schema_dir, tbl_name),'{0}{1}.sql'.format(schema_dir, tbl_name))