如何在Windows上访问Spark中的本地文件?

时间:2015-05-29 02:32:41

标签: windows scala apache-spark

我在(lldb) p messageTypeColor.color (CGColorRef) $0 = 0x00000001742b0f80 (lldb) p [UIColor colorWithCGColor: messageTypeColor.color] error: cannot initialize a parameter of type 'CGColor *' with an lvalue of type 'CGColorRef' (aka 'CGColor *') error: 1 errors parsing expression 上使用Spark。我知道在Windows中,访问本地文件代码是这样的:

*nix

但是如何在val textFile = sc.textFile("file:///usr/local/spark/README.md") 上访问本地文件?我尝试了以下方法:

Windows

但一切都行不通。

4 个答案:

答案 0 :(得分:5)

不幸的是,在Windows中你必须逃避"\"

尝试:

"C:\\spark-1.3.1-bin-hadoop2.4\\README.md"

答案 1 :(得分:1)

它应与以下代码一起使用。否则,请尝试检查拼写和正确的路径。

val path = "C:\\spark_home\\spark-2.2.0-bin-hadoop2.7\\README.md"
val read = sc.textFile(path)

答案 2 :(得分:0)

在Windows中,您必须指定如下内容:

"file///C:/spark-1.3.1-bin-hadoop2.4/README.md"

答案 3 :(得分:0)

对于CSV和txt文件,请不要指定格式

val file = "C:\\Users\\testUser\\IdeaProjects\\SparkDataQualityReporting\\SampleData"
val fileRDD = sparkSession.sparkContext.textFile(file)