dbutils中是否有任何方法可以检查文件的存在,例如dbutils.fs.exits?

时间:2019-07-23 06:34:43

标签: scala apache-spark databricks azure-databricks

我希望检查是否在特定位置,例如 /dbfs/FileStore/tables/xyz.json 。如果是,则该方法应返回true。我在dbutils中检查了方法,但似乎没有找到任何方法。另外,我无法在ADLS中挂载任何位置。有什么方法,我该如何解决?

1 个答案:

答案 0 :(得分:0)

一种检查方法是使用dbutils.fs.ls。

以您的示例为例。

check_path = 'FileStore/tables/'
check_name = 'xyz.json'

files_list = dbutils.fs.ls(check_path)
files_sdf = spark.createDataFrame(files_list)
result = files_sdf.filter(col('name') == check_name)

然后,您可以使用.count()或.show()获得所需的内容。

对于第二个问题,您能否详细说明无法安装的含义?