Databricks文件系统-根据日期复制文件

时间:2018-12-29 10:17:43

标签: python databricks

我正在尝试使用Databricks实用程序-dbutils将文件复制到基于current_date和扩展名.csv的文件夹中。

我创建了以下内容:

import datetime
now1 = datetime.datetime.now()
now = now1.strftime("%Y-%m-%d")
from datetime import datetime
today = datetime.today().date()

然后我尝试了以下

dbutils.fs.cp('adl://mylake.azuredatalakestore.net/testfolder/*{today}.csv','adl://mylake.azuredatalakestore.net/testfolder/RAW/')

dbutils.fs.cp('adl://mylake.azuredatalakestore.net/testfolder/*{now}.csv','adl://mylake.azuredatalakestore.net/testfolder/RAW/'

但是,我不断收到无效的语法错误

有什么想法吗?

1 个答案:

答案 0 :(得分:2)

dbutils.fs.cp复制单个文件和目录,并且不执行通配符扩展,请参见dbutils.fs.help(“ cp”)以供参考。您可以尝试使用dbutils.fs.ls列出源目录的内容,在python中过滤结果,然后一个一个地复制匹配的文件。