数据砖访问不使用SPARK sc的文件

Question

我已成功将文件上传到Databricks。

/FileStore/tables/DEL2018_05.txt

使用 sc.textFile 没问题要处理。

但是，除了dbutils之外，Databricks笔记本中的其他方法均未返回任何内容。我看了看文档，但是我不知道。如果我编写了一个用于文件处理的普通Scala程序，那么一切也将正常进行。

为什么这样做：

val d = new File("/FileStore/tables/")
d.listFiles

什么都不还？

d: java.io.File = DBFS/FileStore/tables
res51: Array[java.io.File] = null

此外，在DataBricks Notebook中运行此SCALA：

Source.fromFile("/FileStore/customGerard/ALT2018_01.txt").mkString

返回：

java.io.FileNotFoundException: /FileStore/customGerard/ALT2018_01.txt (No such file or directory)

但是使用dbutils，我可以看到文件在那里。在这个时间点还是一个大谜团...

Answer 1

需要 / dbfs

val d = new File("/dbfs/FileStore/tables/")

然后工作！！！

Databricks文档不清楚imho。

Answer 2

对于社区版，最好的方法是使用以下命令：

name="usertype2"

其中display(dbutils.fs.ls("/FileStore/tables/"))是您的路径