从本地计算机读取文本文件

Question

我正在尝试使用spark从本地路径读取文本文件。但它引发了例外。Error image

我用来读取文件的代码是：

val assetFile = sc.textFile(assetFilePath)

assestFilePath是一个变量，代表我本地机器中某个地方的路径。

val adFile = sc.textFile(adFilePath)

adFilePath是一个变量，代表我本地计算机中某个地方的路径。

Answer 1

默认情况下，sc.textFile将从HDFS读取而不是从本地文件系统读取，但Spark支持除HDFS之外的多个文件系统，如LocalFileSyetem，Amazon S3，Azure，Swift FS。

因此，为了从本地文件系统读取，您需要在文件路径中指定为协议。 例如：

sc.textFile("file:///tmp/myfile.txt") 

这将从运行spark驱动程序代码的本地文件系统中的tmp目录中读取名为myfile.txt的文件。