Spark中的java.io.FileNotFoundException

Question

我在这里使用Databricks.com中的Notebook和Cluster学习Spark和Scala，这是加载文件的非常简单的代码：

import sys.process._
val localpath="file:/tmp/myfile.json"
dbutils.fs.mkdirs("dbfs:/datasets/")
dbutils.fs.cp(localpath, "dbfs:/datasets/")

但是我得到了这样的错误：

  

java.io.FileNotFoundException：文件文件：/tmp/myfile.json不存在。

     

at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus（RawLocalFileSystem.java:402）

     

at org.apache.hadoop.fs.FilterFileSystem.getFileStatus（FilterFileSystem.java:255）

     

at com.databricks.backend.daemon.dbutils.FSUtils $ .cp（DBUtilsCore.scala：82）

     

at com.databricks.dbutils_v1.impl.DbfsUtilsImpl.cp（DbfsUtilsImpl.scala：40）

我使用的是Mac，我确保该文件存在于此绝对路径中，这是一个火花错误吗？谢谢！

Answer 1

该行：

val localpath="file:/tmp/myfile.json"

应该是：

val localpath =“file：//tmp/myfile.json”

基本上所有URI都采用以下格式：// path RFC-3986