带有Python的Azure Databricks dbfs

时间:2020-07-23 16:51:59

标签: azure pyspark databricks mount-point

在蔚蓝的数据砖中,通过简单地添加两个点,我对dbfs的目录列表有不同的结果。 有人可以向我解释为什么会这样吗?

case one

case two

1 个答案:

答案 0 :(得分:1)

对于dbutils,您只能使用“ dbfs:/”路径。 如果您未在路径的开头指定“ dbfs:/”,它将简单地自动添加它。

dbutils.fs.ls('pathA')
--> dbfs:/pathA

完全相同
dbutils.fs.ls('dbfs:/pathA')

但是如果您不使用':',则它将以静默方式添加。

dbutils.fs.ls('dbfs/pathB')
--> dbfs:/dbfs/pathB

这意味着您的dbfs /被视为 dbfs根目录下的文件夹名称 dbfs :/

为避免混淆,请始终在路径中指定 dbfs:/