如何在Databricks dbfs cp命令中使用参数

时间:2019-09-20 15:07:33

标签: scala databricks

我想使用databricks scala笔记本中的dbfs cp命令将文件从一个安装位置复制到另一个安装位置,并且我想使用源和目标作为参数。我该怎么做? 我的以下代码给出了错误:

val source =“ /mnt/source/data.txt” val dest =“ / mnt / destination /”

%fs ls(源)

dbfs cp(源,目标)

错误: command-2950136022187187373:2:错误:找不到:值% %fs ls(来源) ^

错误:找不到:值dbfs dbfs cp dbfs:/mnt/source/data.txt dbfs:/ mnt / destination / ^

1 个答案:

答案 0 :(得分:0)

我认为,dbfs仅适用于databricks cli。如果使用的是databricks笔记本,则需要使用dbutils命令。试试这个:

dbutils.fs.cp (var_sourcepath,var_destinationpath,True)

如果要递归复制文件,请将第三个参数设置为