Scala Spark忽略字符串中的斜杠“ /”

时间:2018-11-30 10:14:08

标签: scala apache-spark

我有一个方法:

  def generateDatapath(timestamp: List[Long], prefix: String): String = timestamp.head.to(timestamp.last).by(3600).map(_.toString).foldLeft("")((a,b)=>a.concat(s"$prefix/$b,")).stripSuffix(",")

,预期输出为

"s3a://bitBucket/1543554000,s3a://bitBucket/1543557600"

但是在运行spark时会引发错误:

Path does not exist: s3a://bitBucket/1543554000,s3a:/bitBucket/1543557600

它跳过字符串中的斜杠“ /”。 输出字符串用于此:

def readDataFrame(path: String): DataFrame = spark.read.schema(dataSchema).option("sep", "\t").csv(path)

有人可以帮我解释一下吗?谢谢。

0 个答案:

没有答案