Question

如何使用相对路径将CSV读入spark？到目前为止使用绝对路径工作得很好（1.6.2,2.0.1）但我需要通过相对路径加载数据。

尝试读取文件

val mynewDf = spark.read
    .option("header", "true")
    .option("inferSchema", "true")
    .option("charset", "UTF-8")
    .option("delimiter", ";")
    .csv("~/myProject/someFolder/data.csv")

导致以下异常

Path does not exist: file:/Users/geoHeil/source/to/scala/sparkProject/~/myProject/someFolder/data.csv;

Answer 1

所以并不总是被责备的火花;）我决定使用普通的scala获取相对文件路径：

var path = "~/myProject/data/data.csv"
path = path.replaceFirst("^~", System.getProperty("user.home"))

Spark读取CSV实际路径

1 个答案: