我希望检查是否在特定位置,例如 /dbfs/FileStore/tables/xyz.json 。如果是,则该方法应返回true。我在dbutils中检查了方法,但似乎没有找到任何方法。另外,我无法在ADLS中挂载任何位置。有什么方法,我该如何解决?
答案 0 :(得分:0)
一种检查方法是使用dbutils.fs.ls。
以您的示例为例。
check_path = 'FileStore/tables/'
check_name = 'xyz.json'
files_list = dbutils.fs.ls(check_path)
files_sdf = spark.createDataFrame(files_list)
result = files_sdf.filter(col('name') == check_name)
然后,您可以使用.count()或.show()获得所需的内容。
对于第二个问题,您能否详细说明无法安装的含义?